Claude 3.5 HaikuvsClaude3-Haiku
在 3 个共同 benchmark 中,Claude 3.5 Haiku 整体领先:Claude 3.5 Haiku 领先 3 项,Claude3-Haiku 领先 0 项,持平 0 项,平均分差 +148.23。
Claude 3.5 Haiku
Anthropic · 2024-10-22 · 基础大模型
Claude3-Haiku
Anthropic · 2024-03-04 · 多模态大模型
Claude 3.5 Haiku3 项(100%)(0%)0 项Claude3-Haiku
评测分数
按能力类目分组,每组内按分差大小排列;共 3 项。
写作与创意表达
Claude 3.5 Haiku 领先 1/1| 评测项 | Claude 3.5 Haiku | Claude3-Haiku | 分差 |
|---|---|---|---|
| Creative Writing | 1,14686 / 110Normal (No Tools) | 717.30104 / 110Normal (No Tools) | +428.40 |
图像感知与视觉推理
Claude 3.5 Haiku 领先 1/1| 评测项 | Claude 3.5 Haiku | Claude3-Haiku | 分差 |
|---|---|---|---|
| MMMU-Pro | 45.60212 / 229Normal (No Tools) | 30.80227 / 229Normal (No Tools) | +14.80 |
自主开发与终端任务
Claude 3.5 Haiku 领先 1/1| 评测项 | Claude 3.5 Haiku | Claude3-Haiku | 分差 |
|---|---|---|---|
| Terminal Bench Hard | 2.30229 / 244Normal (With Tools) | 0.80242 / 244Normal (With Tools) | +1.50 |
规格对比
| 字段 | Claude 3.5 Haiku | Claude3-Haiku |
|---|---|---|
| 发布机构 | Anthropic | Anthropic |
| 发布时间 | 2024-10-22 | 2024-03-04 |
| 模型类型 | 基础大模型 | 多模态大模型 |
| 架构 | 稠密模型 | 稠密模型 |
| 参数规模 | 暂无数据 | 暂无数据 |
| 上下文长度 | 200K | 200K |
| 最大输出 | 暂无数据 | 暂无数据 |
API 调用价格
价格优先使用 DataLearner 配置的 API 记录;缺失项不做推测。
| 价格项 | Claude 3.5 Haiku | Claude3-Haiku |
|---|---|---|
| 文本输入 | $0.8 / 1M tokens | $0.25 / 1M tokens |
| 文本输出 | $4 / 1M tokens | $1.25 / 1M tokens |
| 缓存读取 | $0.08 / 1M tokens | $0.03 / 1M tokens |
| 缓存写入 | $1 / 1M tokens | $0.3 / 1M tokens |
小结
- Claude 3.5 Haiku在以下类目领先:写作与创意表达 (1/1)、图像感知与视觉推理 (1/1)、自主开发与终端任务 (1/1)
3 个共同 benchmark 上,Claude 3.5 Haiku 平均高出 148.23 分。
单项差距最大的 benchmark:Creative Writing — Claude 3.5 Haiku 1,146,Claude3-Haiku 717.30(分差 +428.40)。
本页正文由结构化模型、价格与 benchmark 数据生成,不使用实时 LLM 撰写。