开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！

大语言模型开源领域最重要的一个模型就是MetaAI开源的Llama系列。当前，很多著名开源模型都是基于Llama系列进行预训练得到。就在刚才，MetaAI开源了第三代Llama3系列。官方透露的信息非常多，Llama3系列是目前为止最强的开源大语言模型，未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

Llama3系列简介

Llama3系列模型是MetaAI开源的第三代大语言模型，本次发布的包含2个不同参数规模的版本，一个是80亿参数的LLama3-8B，另一个是700亿参数规模的Llama3-70B。MetaAI为此创建了2个2.4万个GPU集群，让Llama3模型在其中的1.6万个GPU上同时训练！

不过，根据官方描述，目前这两个版本是早期预览版本，未来几个月，Llama3的能力将拓展到多语言支持和更长的上下文，并且会开源更多不同参数规模版本的模型。并且，Llama3将会有多模态版本的模型！

Llama3模型是在15万亿tokens数据集上训练，是Llama2的7倍！其中的代码数据集高4倍！当前支持的上下文长度是128K！

这里还有个好消息是，预训练数据集中有5%的非英文数据集，总共支持的，期待包含中文。不过官方也说了，其他语言可能不如英文。但是如果有这个基础，继续做对齐可能更为容易。