加载中...
加载中...
2024年10月,OpenAI推出了一款名为**SimpleQA**的全新评测基准,旨在解决语言模型生成内容中的“幻觉”问题(即模型生成看似合理但实际错误的信息),并通过开源方式推动AI生成内容的可靠性发展。这一基准的发布标志着AI领域在事实性评估方面迈出了重要一步。
OpenAI发布的一个针对大模型事实问答的能力评测基准,可以有效检验模型幻觉严重程度
数据来源:DataLearnerAI
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | DeepSeek V3.2-Expthinking + 使用工具 | 97.1 | 2025-09-29 | 6710 |
| 2 | 96.8 | 2025-09-22 | 6710 | |
| 3 | Grok 4 Fastthinking + 使用工具 | 95 | 2025-09-19 | 未知 |
| 4 | DeepSeek-V3.1thinking | 93.4 | 2025-08-20 | 6710 |
| 5 | Gemini 3.0 Pro (Preview 11-2025)thinking | 72.1 | 2025-11-18 | 未知 |
| 6 | Gemini 3.0 Flashthinking | 68.7 | 2025-12-17 | 未知 |
| 7 | 62.5 | 2025-02-28 | 未知 | |
| 8 | 54.3 | 2025-07-21 | 2350 | |
| 9 | 54 | 2025-05-06 | 未知 | |
| 10 | 54 | 2025-06-05 | 未知 | |
| 11 | 52.9 | 2025-03-25 | 未知 | |
| 12 | 49.4 | 2025-04-16 | 未知 | |
| 13 | 45.9 | 2025-06-30 | 3000 | |
| 14 | 44.3 | 2025-02-05 | 未知 | |
| 15 | 43.4 | 2025-02-17 | 未知 | |
| 16 | 42.6 | 2024-12-05 | 未知 | |
| 17 | 40.3 | 2025-03-27 | 未知 | |
| 18 | 38.8 | 2024-11-20 | 未知 | |
| 19 | 38.2 | 2024-05-13 | 未知 | |
| 20 | 31 | 2025-07-11 | 10000 | |
| 21 | 30.1 | 2025-01-20 | 6710 | |
| 22 | 29.9 | 2024-12-11 | 未知 | |
| 23 | 28.4 | 2024-10-22 | 未知 | |
| 24 | DeepSeek-R1-0528thinking | 27.8 | 2025-05-28 | 6710 |
| 25 | 27.2 | 2025-03-24 | 6710 | |
| 26 | Gemini 2.5 Flashthinking | 26.9 | 2025-04-17 | 未知 |
| 27 | 25.8 | 2025-04-17 | 未知 | |
| 28 | 24.9 | 2024-12-26 | 6810 | |
| 29 | 22.8 | 2025-03-10 | 未知 | |
| 30 | 21.7 | 2025-02-05 | 未知 |