DataLearner 标志

Grok-0

聊天大模型Grok
发布时间: 2023-11-05更新于: 2023-11-05浏览量: 667
上下文长度
8K
最佳榜单名次
第 39 / 68
HumanEval 第 62 / 101
查看全部评测
是否开源
不开源
参数 330亿
查看开源信息

Grok-0 is the 33B-parameter prototype xAI trained before Grok-1, described in November 2023. xAI reported that it approached Llama 2 70B on standard benchmarks while using half the training resources; it was never released as a product.

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

Grok-0

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
8K tokens
最大输出长度
暂无数据
模型类型
聊天大模型
输入/输出模态
暂无数据
发布时间
2023-11-05
模型文件大小
0
MoE架构
否
总参数 / 激活参数
330亿 / 不适用
知识截止
暂无数据
Grok-0

开源和体验地址

代码开源状态
不开源
预训练权重开源
不开源
GitHub 源码
暂无
Hugging Face
暂无
在线体验
暂无
Grok-0

官方介绍与博客

官方论文
DataLearnerAI博客
暂无
Grok-0

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
Grok-0

评测结果

Grok-0 当前已收录的代表性评测结果包括 GSM8K(39 / 68,得分 56.80)、HumanEval(62 / 101,得分 39.70)、MMLU(75 / 116,得分 65.70)。 本页还汇总了参数规模、上下文长度与 API 价格,便于结合评测结果与部署约束一起判断模型适配度。

思考模式

综合知识考试

共 1 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
65.70
75 / 116

数学

共 1 项评测
评测名称 / 模式
得分
排名/总数
GSM8K
常规模式
56.80
39 / 68

程序生成与编辑

共 1 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
39.70
62 / 101
Grok-0

发布机构

Grok-0

模型解读

Grok-0模型是xAI公司在开发Grok-1模型之前的一个原型版本。从您提供的博客内容中,我们可以看到Grok-0模型拥有33亿的参数,这个早期模型在标准的语言模型基准测试中接近LLaMa 2(70B)的能力,但只使用了一半的训练资源。Grok-0模型在某些基准测试中的表现如下:

  • GSM8k(中学数学词问题):56.8%
  • MMLU(多学科多选题):65.7%
  • HumanEval(Python代码完成任务):39.7%
  • MATH(中学和高中数学问题):15.7%

这些基准测试成绩显示了Grok-0在数学和编程任务中的表现。随后,在过去的两个月中,xAI团队对推理和编码能力进行了重大改进,开发出了Grok-1模型,该模型在HumanEval编码任务和MMLU任务中的表现分别提高到了63.2%和73%。通过对比Grok-0和Grok-1在这些基准测试中的表现,可以看出Grok-1在推理和编码能力上的明显提升。

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码