Gemini 2.0 Pro ExperimentalvsGPT-4o(2024-11-20)
在 5 个共同 benchmark 中,Gemini 2.0 Pro Experimental 整体领先:Gemini 2.0 Pro Experimental 领先 5 项,GPT-4o(2024-11-20) 领先 0 项,持平 0 项,平均分差 +9.64。
Gemini 2.0 Pro Experimental
DeepMind · 2025-02-05 · 聊天大模型
GPT-4o(2024-11-20)
OpenAI · 2024-11-20 · 聊天大模型
Gemini 2.0 Pro Experimental5 项(100%)(0%)0 项GPT-4o(2024-11-20)
评测分数
按能力类目分组,每组内按分差大小排列;共 5 项。
General Knowledge
Gemini 2.0 Pro Experimental 领先 2/2| 评测项 | Gemini 2.0 Pro Experimental | GPT-4o(2024-11-20) | 分差 |
|---|---|---|---|
| MMLU Pro | 79.1065 / 132 | 77.9075 / 132 | +1.20 |
| MMLU | 86.5028 / 66 | 85.7037 / 66 | +0.80 |
Agent Level Benchmark
Gemini 2.0 Pro Experimental 领先 1/1| 评测项 | Gemini 2.0 Pro Experimental | GPT-4o(2024-11-20) | 分差 |
|---|---|---|---|
| Aider-Polyglot | 35.6041 / 59Normal (No Tools) | 18.2050 / 59Normal (No Tools) | +17.40 |
Common Sense
Gemini 2.0 Pro Experimental 领先 1/1| 评测项 | Gemini 2.0 Pro Experimental | GPT-4o(2024-11-20) | 分差 |
|---|---|---|---|
| SimpleQA | 44.3016 / 47 | 38.8021 / 47 | +5.50 |
Math and Reasoning
Gemini 2.0 Pro Experimental 领先 1/1| 评测项 | Gemini 2.0 Pro Experimental | GPT-4o(2024-11-20) | 分差 |
|---|---|---|---|
| MATH | 91.804 / 42 | 68.5024 / 42 | +23.30 |
规格对比
| 字段 | Gemini 2.0 Pro Experimental | GPT-4o(2024-11-20) |
|---|---|---|
| 发布机构 | DeepMind | OpenAI |
| 发布时间 | 2025-02-05 | 2024-11-20 |
| 模型类型 | 聊天大模型 | 聊天大模型 |
| 架构 | 稠密模型 | 稠密模型 |
| 参数规模 | 暂无数据 | 暂无数据 |
| 上下文长度 | 2000K | 128K |
| 最大输出 | 8K | 暂无数据 |
小结
- Gemini 2.0 Pro Experimental在以下类目领先:General Knowledge (2/2)、Agent Level Benchmark (1/1)、Common Sense (1/1)、Math and Reasoning (1/1)
5 个共同 benchmark 上,Gemini 2.0 Pro Experimental 平均高出 9.64 分。
单项差距最大的 benchmark:MATH — Gemini 2.0 Pro Experimental 91.80,GPT-4o(2024-11-20) 68.50(分差 +23.30)。
本页正文由结构化模型、价格与 benchmark 数据生成,不使用实时 LLM 撰写。