
Anthropic · 2024-03-04

OpenAI · 2023-03-14
Claude3-Opus 在共同评测平均分中领先
2 项共同评测中领先 2 项,平均分高 1.3 分
仅基于所有选中模型共同有成绩的 2 项百分制评测汇总,明细见下方图表。
“最佳可用”会为每项评测选取该模型已收录的按指标方向选出的最佳非并行结果,可能组合成并不存在的虚拟运行配置;请结合模式明细解读。
| Claude3-Opus | GPT-4 | |
|---|---|---|
| 发布时间 | 2024-03-04 | 2023-03-14 |
按评测基准逐项对比;切换思考模式或工具设置后,下方图表与表格同步更新。
“最佳可用”按每项评测分别选择按指标方向选出的最佳非并行结果,因此这条系列可能由多个推理档拼接而成,并不代表一个可直接复现的单一运行配置。切换模式筛选可查看可复现的同档结果。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
每条轴是该评测领域内百分制成绩的算术平均,反映的是这些评测的平均得分,不是模型能力评级。
相对优势: 程序生成与编辑 +10.4 / 相对落后: 暂无明显落后
相对优势: 暂无明显优势 / 相对落后: 程序生成与编辑 -10.4
计算口径:同一模型在同一 benchmark 下先平均当前模式范围内的所有分数(不取最高分),再按评测领域对这些分数求平均。只纳入至少两个模型有百分制成绩的评测;Codeforces、Arena 等 Elo/评分制评测已排除,因为把 1500 分的 Elo 与 85% 的准确率放在一起平均不具意义。缺项不按 0 分处理;各评测等权,未按难度加权,因此包含高难度评测的领域分数天然偏低。
各模型 API 的官方标价,按输入 / 输出分列;单位为美元 / 百万 tokens。
| 计费项 | Claude3-Opus | GPT-4 |
|---|---|---|
| 标准价格文本输入 | Claude3-Opus $15.0 | GPT-4— |
| 文本输出 | Claude3-Opus $75.0 | GPT-4— |
| 缓存价格缓存读取 | Claude3-Opus $1.50 | GPT-4— |
| 缓存写入 | Claude3-Opus $18.8 | GPT-4— |
| 多模态价格图片输入 | Claude3-Opus $15.0 | GPT-4— |
单位:美元 / 百万 tokens · 数据源:DataLearner AI
GPT-4 暂无价格记录,图中未画出对应柱形——这表示缺少数据,不代表免费。
架构、许可与 API 模态等规格对比;「未提供」表示数据库暂无该字段。
| 功能与规格 | Claude3-OpusAnthropic | GPT-4OpenAI |
|---|---|---|
| 核心规格 | ||
| 发布时间 | 2024-03-04 | 2023-03-14 |
| 上下文长度 | 200K | 128K |
| 模型架构 | 未公布 | 未公布 |
| 可用性与许可 | ||
| 代码可用性 | 未公开 | 未公开 |
| 权重可用性 | 未公开 | 未公开 |
| 使用与商业许可 | 仅限官方服务;以服务条款为准 | 仅限官方服务;以服务条款为准 |
| API 模态支持 | ||
| 文本 输入/输出 | 输入:支持输出:支持 | 输入:不支持输出:不支持 |
| 图片 输入/输出 | 输入:支持输出:不支持 | 输入:不支持输出:不支持 |
| 资料来源 | ||
| 论文 / 报告 | Introducing the next generation of Claude | GPT-4 Technical Report |
| DataLearner 博客 | 评测结果超过GPT-4,Anthropic发布第三代大语言模型Claude3,具有多模态能力,实际评测表现优秀! | 未提供 |
| 上下文长度 | 200K | 128K |
|---|
| 模型权重 | 未开放 | 未开放 |
|---|