「Mistral-7B」相关文章

Mistral-7B是由MistralAI开源的一个73亿参数规模的大语言模型，最早在2023年9月底开源。因为其良好的性能和友好的开源协议被很多人使用。今天，这个模型升级到来v0.2版本Mistral-7B-v0.2。基于Mistral-7B-v0.2进行指令微调的模型 Mistral-7B-Instruct-v0.2在2023年11月11日公布，而这个基座模型则是在2023年3月24日开源。

12月8日晚上，MistralAI在他们的推特账号上发布了一个磁力链接，大家下载之后根据名字推断这是一个混合专家模型（Mixture of Experts，MoE）。这种模型因为较低的成本和更高的性能被认为是大模型技术中非常重要的路径。也是GPT-4可能的方案。MistralAI在今天发布了博客，正式介绍了这个强大的模型。

MistralAI是一家法国的大模型初创企业，其2023年9月份发布的Mistral-7B模型声称是70亿参数规模模型中最强大的模型，并且由于其商用友好的开源协议，吸引了很多的关注。在昨晚，MistralAI突然在推特上公布了一个磁力下载链接，而下载之后大家发现这是一个基于混合专家的大模型这是由8个70亿参数规模专家网络组成的混合模型（Mixture of Experts，MoE，混合专家网络）。