Context Arena：长上下文大模型评测基准介绍

Context Arena 是一个专注于评估大语言模型长上下文处理能力的基准平台。它基于 OpenAI 发布的 Multi-Round Coreference Resolution (MRCR) 数据集，提供交互式排行榜，用于比较不同模型在复杂长对话中的信息检索和理解性能。该基准强调模型在长上下文下的实际表现，避免单纯依赖训练数据记忆。

当前长上下文评测的挑战

现有长上下文评测多采用简单任务，如“针在干草堆中”（Needle in a Haystack），模型只需检索单一信息点。这些任务难以反映真实场景下的复杂性，例如多轮对话中信息交叉、顺序依赖和歧义分辨。许多模型宣称支持百万级上下文，但实际应用中容易出现信息遗忘、混淆或幻觉问题。Context Arena 针对这些不足，提供更接近真实对话的评估方式。

Context Arena 的背景与目标

Context Arena 的核心数据集由 OpenAI 于 2024 年发布，数据集托管在 Hugging Face（openai/mrcr）。平台网站 https://contextarena.ai/ 于 2025 年左右上线，由独立开发者维护，用于可视化 MRCR 结果并扩展其他长上下文基准。

该基准旨在解决长上下文模型评估的公平性和实用性问题：传统基准易受数据污染影响，而 MRCR 通过合成独特长对话、随机放置“针”（关键信息）和要求特定哈希输出，确保模型依赖上下文理解而非记忆。目标是量化模型在 4K 到 1M token 范围内的性能衰减，提供标准化比较。