MiniCPM-MoE-8x2B
模型参数
136亿
上下文长度
2K
中文支持
支持
推理能力
MiniCPM-MoE-8x2B 是由 OpenBMB 发布的 AI 模型，发布时间为 2024-04-10，定位为 基础大模型，参数规模约为 136亿，上下文长度为 2K，模型文件大小约 27.7GB，采用 OpenBMB通用模型许可协议-来源说明-宣传限制-商业授权 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MiniCPM-MoE-8x2B
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-04-10
模型文件大小
27.7GB
MoE架构
否
总参数 / 激活参数
136亿 / 不涉及
知识截止
暂无数据
MiniCPM-MoE-8x2B
开源和体验地址
MiniCPM-MoE-8x2B
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
MiniCPM-MoE-8x2B
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MiniCPM-MoE-8x2B
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
MiniCPM-MoE-8x2B
发布机构
OpenBMB
查看发布机构详情 MiniCPM-MoE-8x2B
模型解读
MiniCPM-MoE-8x2B是一个基于Mixture-of-Experts(MoE)架构的大型语言模型，包含8个专家模块。它基于先前的MiniCPM模型，利用了稀疏升循环(sparse upcycling)技术进行初始化。在推理时，每个token会激活2个专家模块，导致约40亿参数被激活。总的非嵌入参数量达到136亿。
该模型采用了路由机制:
使用softmax选择top2专家输出的加权和作为该层输出引入load balancing loss防止训练塌陷，权重0.01
评估结果:
在多个基准测试中优于7B模型，如Mistral、Gemma等进行了专家冗余和专家专长分析。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
