MI
发布时间: 2024-04-10更新于: 2026-10-11浏览量: 660
上下文长度
2K
MiniCPM-MoE-8x2B is a mixture-of-experts model from OpenBMB released in April 2024, built by sparse upcycling of MiniCPM into eight experts with two active per token, for about 13.6B total parameters.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MiniCPM-MoE-8x2B
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-04-10
模型文件大小
27.7GB
MoE架构
是
总参数 / 激活参数
136亿 / 40亿
知识截止
暂无数据
MiniCPM-MoE-8x2B
开源和体验地址
MiniCPM-MoE-8x2B
官方介绍与博客
DataLearnerAI博客
暂无
MiniCPM-MoE-8x2B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MiniCPM-MoE-8x2B
发布机构
OpenBMB
查看发布机构详情 MiniCPM-MoE-8x2B
模型解读
MiniCPM-MoE-8x2B是一个基于Mixture-of-Experts(MoE)架构的大型语言模型，包含8个专家模块。它基于先前的MiniCPM模型，利用了稀疏升循环(sparse upcycling)技术进行初始化。在推理时，每个token会激活2个专家模块，导致约40亿参数被激活。总的非嵌入参数量达到136亿。
该模型采用了路由机制:
使用softmax选择top2专家输出的加权和作为该层输出引入load balancing loss防止训练塌陷，权重0.01
评估结果:
在多个基准测试中优于7B模型，如Mistral、Gemma等进行了专家冗余和专家专长分析。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
