加载中...
近年来，大语言模型（如GPT-4、Claude、Gemini）的能力突飞猛进，但它们是否真的接近人类专家的水平？答案可能令人意外。以广泛使用的评测基准MMLU（大规模多任务语言理解）为例，GPT-4在2023年首次发布时，其准确率仅为86.4%，但到了2025年，最新的GPT-4o在MMLU上的准确率已超过95%（图1）。这种“评测饱和”现象意味着，现有基准已无法区分顶尖模型的真实能力——就像一场考试，如果所有学生都能考满分，考试就失去了意义。为此，Safety for AI和Scale AI的研究人员推出了Humanity’s Last Exam大模型评测基准。这是一个全新的评测基准，旨在成为大模型“闭卷学术评测的终极考验”。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
HLE全称是Humanity’s Last Exam，它的诞生正是为了解决当前评测基准无法有效区分大模型能力的现象。当前模型的进步速度远超评测基准的更新频率，导致研究者无法精准衡量模型在前沿学术领域的表现。例如，在数学、生物化学或冷门语言学问题上，模型的真实能力可能被高估。
而HLE的三大设计目标直击痛点：
HLE的题目收集自全球的贡献。当前包含的3,000道题目来自全球50个国家、500多所机构的近千名专家，包括数学家、化学家、语言学家等。为确保质量，每道题需通过三重筛选：
以下是HLE里面的一些题目示例，让我们感受以下HLE的难度。
“设F和G为Σ₄与Σ₇对称群的∞-范畴函子，计算自然余变换的数量。” （答案：0。需理解范畴论中的余端（coend）概念，并推导对称群的结构。）
“热周环反应分三步：两步电环化反应和一步环加成。指出每步反应的电子数和旋转方式。” （答案：Step 1: [4]-dis；Step 2: [6]-con；Step 3: [4+2]。需掌握周环反应的前线分子轨道理论。）
“根据Geoffrey Khan的研究，标注《诗篇》104:7的闭音节（基于藏传希伯来语发音传统）。” （答案：需分析音节尾辅音与非元音化的shewa符号。）
这里我们总结一下HLE与MMLU等传统评测基准的差异：
从这些结果可以看到，HLE的题目难度很高，覆盖范围也更广泛。这意味着当前大模型很难轻易通过“模仿”等方法解决。
论文对7款前沿模型进行零样本（zero-shot）测试（无示例提示），结果令人震惊，当前模型准确率都很低。如下表：
从上表可以看到：
根据HLE的测试结果，我们也可以看到当前主流的大模型有如下一些问题：
模型在需要纵向专业知识的问题上表现极差。例如，涉及∞-范畴的数学题要求掌握高阶代数拓扑，而现有模型的预训练数据可能仅覆盖基础范畴论概念。论文发现，模型常混淆“自然变换”与“自然余变换”，暴露出符号逻辑推理的缺陷。
HLE的化学题常需结合有机反应机理与量子化学计算（如电环化反应的轨道对称性）。模型虽能分步解释，却无法串联多学科知识推导最终答案。这反映出现有架构缺乏系统性推理框架。
高校准误差（如GPT-4o的92.5%）表明，模型在未知领域倾向于“编造答案”而非承认无知。例如，在古文字学问题中，模型会生成看似合理的音节划分，但与学术共识完全不符。这对医疗诊断、法律咨询等场景构成重大风险。
尽管10%的问题包含图像（如古碑文拓片），模型的表现并未显著优于纯文本问题。例如，在结合化学结构图的反应机理题中，模型常忽略图像中的立体化学信息，导致错误判断。
