DataLearner 标志

Claude 3.5 HaikuvsClaude3-Haiku

在 3 个共同 benchmark 中,Claude 3.5 Haiku 整体领先:Claude 3.5 Haiku 领先 3 项,Claude3-Haiku 领先 0 项,持平 0 项,平均分差 +148.23。

Anthropic
Claude 3.5 Haiku

Anthropic · 2024-10-22 · 基础大模型

Anthropic
Claude3-Haiku

Anthropic · 2024-03-04 · 多模态大模型

Claude 3.5 Haiku3 项(100%)(0%)0 项Claude3-Haiku

评测分数

按能力类目分组,每组内按分差大小排列;共 3 项。

写作与创意表达

Claude 3.5 Haiku 领先 1/1
评测项Claude 3.5 HaikuClaude3-Haiku分差
Creative Writing1,14686 / 110Normal (No Tools)717.30104 / 110Normal (No Tools)+428.40

图像感知与视觉推理

Claude 3.5 Haiku 领先 1/1
评测项Claude 3.5 HaikuClaude3-Haiku分差
MMMU-Pro45.60212 / 229Normal (No Tools)30.80227 / 229Normal (No Tools)+14.80

自主开发与终端任务

Claude 3.5 Haiku 领先 1/1
评测项Claude 3.5 HaikuClaude3-Haiku分差
Terminal Bench Hard2.30229 / 244Normal (With Tools)0.80242 / 244Normal (With Tools)+1.50

规格对比

字段Claude 3.5 HaikuClaude3-Haiku
发布机构AnthropicAnthropic
发布时间2024-10-222024-03-04
模型类型基础大模型多模态大模型
架构稠密模型稠密模型
参数规模暂无数据暂无数据
上下文长度200K200K
最大输出暂无数据暂无数据

API 调用价格

价格优先使用 DataLearner 配置的 API 记录;缺失项不做推测。

价格项Claude 3.5 HaikuClaude3-Haiku
文本输入$0.8 / 1M tokens$0.25 / 1M tokens
文本输出$4 / 1M tokens$1.25 / 1M tokens
缓存读取$0.08 / 1M tokens$0.03 / 1M tokens
缓存写入$1 / 1M tokens$0.3 / 1M tokens

小结

  • Claude 3.5 Haiku在以下类目领先:写作与创意表达 (1/1)、图像感知与视觉推理 (1/1)、自主开发与终端任务 (1/1)

3 个共同 benchmark 上,Claude 3.5 Haiku 平均高出 148.23 分。

单项差距最大的 benchmark:Creative Writing — Claude 3.5 Haiku 1,146,Claude3-Haiku 717.30(分差 +428.40)。

本页正文由结构化模型、价格与 benchmark 数据生成,不使用实时 LLM 撰写。