开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！
2,595 阅读
加载中...
加载中...
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
大语言模型开源领域最重要的一个模型就是MetaAI开源的Llama系列。当前，很多著名开源模型都是基于Llama系列进行预训练得到。就在刚才，MetaAI开源了第三代Llama3系列。官方透露的信息非常多，Llama3系列是目前为止最强的开源大语言模型，未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！
Llama3系列模型是MetaAI开源的第三代大语言模型，本次发布的包含2个不同参数规模的版本，一个是80亿参数的LLama3-8B，另一个是700亿参数规模的Llama3-70B。MetaAI为此创建了2个2.4万个GPU集群，让Llama3模型在其中的1.6万个GPU上同时训练！
不过，根据官方描述，目前这两个版本是早期预览版本，未来几个月，Llama3的能力将拓展到多语言支持和更长的上下文，并且会开源更多不同参数规模版本的模型。并且，Llama3将会有多模态版本的模型！
Llama3模型是在15万亿tokens数据集上训练，是Llama2的7倍！其中的代码数据集高4倍！当前支持的上下文长度是128K！
这里还有个好消息是，预训练数据集中有5%的非英文数据集，总共支持的语言高达30种，期待包含中文。不过官方也说了，其他语言可能不如英文。但是如果有这个基础，继续做对齐可能更为容易。
Llama3模型具体信息可以参考DataLearnerAI模型信息卡：
需要注意的是，这里的4000亿参数版本正在训练中，还没完成。
虽然目前MetaAI仅仅开源了2个不同参数规模版本的模型，其中700亿参数规模的模型评测结果极其优秀。最大的亮点是数学评测GSM8K的结果上得分93分！根据DataLearnerAI目前收集的数据，这个分数仅次于Claude3-Opus的95分，超过GPT-4，全球第二，是目前开源大模型中得分最高的一个。
可以看到，按照GSM8K排序的靠前的模型中，除了Llama3-70B外，全部是闭源的私有模型。而数学能力与推理等强相关，在解决复杂任务方面有着非常好的优势。而Llama3-70B的MMLU得分82.0分，排名在Claude3-Opus、GPT-4和Gemini Ultra之后，全球第四，成绩也是非常好，也是开源模型中最强的一个。
而Llama3-8B版本的模型在MMLU（综合理解能力）得分68.4，接近GPT-3.5，GSM8K得分79.6，略超720亿参数规模的Qwen1.5-72B模型！
另外，作为一个综合的大模型，Llama3-70B模型的代码能力也非常出色，在HumanEval评测上得分81.7，低于GPT-4和Claude3-Opus，也比专门的编程大模型CodeQwen1.5-7B模型略低，但是全球排名第四！
注意，上述模型的评测的是Llama3的指令优化版本，基座预训练得分目前只公布了MMLU部分，稍低于这些分数。
MetaAI官方宣布自己构建了人工评测数据集，在12个关键任务中收集了1800个高质量的prompt（包括获得建议、头脑风暴、分类等任务）。然后采用人工评价的方式。结果发现，Llama3-70B模型效果好于目前市场上的闭源模型：Claude Sonnet, Mistral Medium和GPT-3.5。
但是官方没有给GPT-4的对比以及Claude3-Opus对比，这两个应该是市场最强的2个闭源模型。
MetaAI官方宣布，Llama3有很多版本，其中最大的版本是4000亿参数规模！但是这个版本的模型还在训练中！官方没有明确说未来这个版本是否开源，但是也没有否认。
但是官方依然给了一个截图，展示了还在训练中的4000亿参数版本的模型的效果：
其中MMLU得分86.1分，GSM8K得分94.1分，这意味着一旦该模型训练完成，与当前市场上公开的所有模型相比，Llama3-400B模型的评测结果一定是全球第一！它现在的版本MMLU与最高分差0.7分，GSM8K差0.4分，差距非常小！代码评测结果与第一名差距也非常小！
具体数据参考DataLearnerAI大模型评测排行榜：
目前官方没有看到完整的开源协议，但应该和Llama2类似，允许商用，但是遵从贸易合规，所以国内很多公司可能依然无法使用。
目前开源的Llama3-8B和LLama3-70B模型没有在任何平台发布，只在官网提供了申请链接，需要审批通过之后才可以下载，申请地址：https://llama.meta.com/llama-downloads Llama3官方网站：https://llama.meta.com/llama3/