Grok-0
聊天大模型GrokGrok-0 is the 33B-parameter prototype xAI trained before Grok-1, described in November 2023. xAI reported that it approached Llama 2 70B on standard benchmarks while using half the training resources; it was never released as a product.
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
Grok-0 当前已收录的代表性评测结果包括 GSM8K(39 / 68,得分 56.80)、HumanEval(62 / 101,得分 39.70)、MMLU(75 / 116,得分 65.70)。 本页还汇总了参数规模、上下文长度与 API 价格,便于结合评测结果与部署约束一起判断模型适配度。
发布机构
模型解读
Grok-0模型是xAI公司在开发Grok-1模型之前的一个原型版本。从您提供的博客内容中,我们可以看到Grok-0模型拥有33亿的参数,这个早期模型在标准的语言模型基准测试中接近LLaMa 2(70B)的能力,但只使用了一半的训练资源。Grok-0模型在某些基准测试中的表现如下:
- GSM8k(中学数学词问题):56.8%
- MMLU(多学科多选题):65.7%
- HumanEval(Python代码完成任务):39.7%
- MATH(中学和高中数学问题):15.7%
这些基准测试成绩显示了Grok-0在数学和编程任务中的表现。随后,在过去的两个月中,xAI团队对推理和编码能力进行了重大改进,开发出了Grok-1模型,该模型在HumanEval编码任务和MMLU任务中的表现分别提高到了63.2%和73%。通过对比Grok-0和Grok-1在这些基准测试中的表现,可以看出Grok-1在推理和编码能力上的明显提升。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
