MI
发布时间: 2024-04-17更新于: 2026-10-11退役: 2025-03-30浏览量: 829
上下文长度
64K
Mixtral 8x22B is the larger sparse mixture-of-experts model Mistral AI released in April 2024 under Apache 2.0. It uses about 39B active of 141B total parameters, supports a 64K-token context and was among the strongest open models at release. It has since been retired from Mistral's API.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Mixtral-8×22B-MoE
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
64K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-04-17
模型文件大小
262GB
MoE架构
是
总参数 / 激活参数
1410亿 / 390亿
知识截止
暂无数据
Mixtral-8×22B-MoE
开源和体验地址
Mixtral-8×22B-MoE
官方介绍与博客
Mixtral-8×22B-MoE
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Mixtral-8×22B-MoE
发布机构
MistralAI
查看发布机构详情 Mixtral-8×22B-MoE
模型解读
Mixtral-8×7B-MoE是由MistralAI开源的一个MoE架构大语言模型，因为它良好的开源协议和非常好的性能获得了广泛的关注。就在刚才，Mixtral-8×7B-MoE的继任者出现，MistralAI开源了全新的Mixtral-8×22B-MoE大模型。
目前该模型依然是以磁力链接让大家下载，没有提供任何新的消息，不过根据磁链文件信息，有几个简单的信息：
- Mixtral-8×22B-MoE依然是8个专家组成的混合专家大模型；
- 每个专家参数规模220亿，是原来70亿参数的3倍，因此总的参数量达到了1760亿！
- 如果依然是每次激活2个专家，这意味着每次推理的参数规模是440亿，比此前120亿参数规模大幅增加，有理由相信模型能力更强！
- Mixtral-8×7B-MoE模型的输入是32K，而这个模型的配置文件显示，上下文输入达到了64K！上下文长度翻倍！
- 根据这个参数估计，Mixtral-8×22B-MoE模型推理半精度的显存需要350GB！成本非常高！但是按照下载链接的物理文件达到262GB的话，应该是不到300G显存即可！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
