ARC 评测基准详情

AI2 Reasoning Challenge

一个包含 7787 个多项选择题的基准，用于评估模型的常识推理能力。

问题数量 7787
发布机构 Allen Institute for AI
评测类别 常识推理
评测指标 Accuracy
支持语言 英语
难度等级 Advanced

ARC 大模型得分排行榜

数据来源：DataLearnerAI

排名
模型
得分
发布时间
参数(亿)
1
Google Research Logo
Gemma 2 - 9B
68.2
2024-06-27
90.0
ARC得分 68.2
发布时间 2024-06-27
参数(亿) 90.0
查看模型详情
2
阿里巴巴 Logo
Qwen2.5-7B
63.7
2024-09-18
70.0
ARC得分 63.7
发布时间 2024-09-18
参数(亿) 70.0
查看模型详情
3
MistralAI Logo
Mistral-7B-Instruct-v0.3
60.0
2024-05-22
70.0
ARC得分 60.0
发布时间 2024-05-22
参数(亿) 70.0
查看模型详情
4
Facebook AI研究实验室 Logo
Llama3.1-8B
59.3
2024-07-23
80.0
ARC得分 59.3
发布时间 2024-07-23
参数(亿) 80.0
查看模型详情