加载中...
加载中...
2024年10月,OpenAI推出了一款名为**SimpleQA**的全新评测基准,旨在解决语言模型生成内容中的“幻觉”问题(即模型生成看似合理但实际错误的信息),并通过开源方式推动AI生成内容的可靠性发展。这一基准的发布标志着AI领域在事实性评估方面迈出了重要一步。
OpenAI发布的一个针对大模型事实问答的能力评测基准,可以有效检验模型幻觉严重程度
数据来源:DataLearnerAI
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
| 排名 | 模型 | |||
|---|---|---|---|---|
| 1 | DeepSeek V3.2-Expdefault | 97.1 | 2025-09-29 | 6710 |
| 2 | DeepSeek-V3.1 Terminusdefault | 96.8 | 2025-09-22 | 6710 |
| 3 | Grok 4 Fastdefault | 95 | 2025-09-19 | 未知 |
| 4 | DeepSeek-V3.1default | 93.4 | 2025-08-20 | 6710 |
| 5 | 72.1 | 2025-11-18 | 未知 | |
| 6 | Gemini 3.0 Flashdefault | 68.7 | 2025-12-17 | 未知 |
| 7 | GPT-4.5default | 62.5 | 2025-02-28 | 未知 |
| 8 | Qwen3-235B-A22B-2507default | 54.3 | 2025-07-21 | 2350 |
| 9 | Gemini-2.5-Pro-Preview-05-06default | 54 | 2025-05-06 | 未知 |
| 10 | Gemini 2.5-Prodefault | 54 | 2025-06-05 | 未知 |
| 11 | 52.9 | 2025-03-25 | 未知 | |
| 12 | OpenAI o3default | 49.4 | 2025-04-16 | 未知 |
| 13 | ERNIE-4.5-300B-A47Bdefault | 45.9 | 2025-06-30 | 3000 |
| 14 | Gemini 2.0 Pro Experimentaldefault | 44.3 | 2025-02-05 | 未知 |
| 15 | Grok 3default | 43.4 | 2025-02-17 | 未知 |
| 16 | OpenAI o1default | 42.6 | 2024-12-05 | 未知 |
| 17 | GPT-4o(2025-03-27)default | 40.3 | 2025-03-27 | 未知 |
| 18 | GPT-4o(2024-11-20)default | 38.8 | 2024-11-20 | 未知 |
| 19 | GPT-4odefault | 38.2 | 2024-05-13 | 未知 |
| 20 | Kimi K2default | 31 | 2025-07-11 | 10000 |
| 21 | DeepSeek-R1default | 30.1 | 2025-01-20 | 6710 |
| 22 | 29.9 | 2024-12-11 | 未知 | |
| 23 | Claude 3.5 Sonnet Newdefault | 28.4 | 2024-10-22 | 未知 |
| 24 | DeepSeek-R1-0528default | 27.8 | 2025-05-28 | 6710 |
| 25 | DeepSeek-V3-0324default | 27.2 | 2025-03-24 | 6710 |
| 26 | Gemini 2.5 Flashdefault | 26.9 | 2025-04-17 | 未知 |
| 27 | Gemini 2.5 Flashdefault | 25.8 | 2025-04-17 | 未知 |
| 28 | DeepSeek-V3default | 24.9 | 2024-12-26 | 6810 |
| 29 | Hunyuan-TurboSdefault | 22.8 | 2025-03-10 | 未知 |
| 30 | Gemini 2.0 Flash-Litedefault | 21.7 | 2025-02-05 | 未知 |