MiniCPM-MoE-8x2B
基础大模型MiniCPM-MoE-8x2B
模型参数（Parameters）
136.0
最高上下文长度（Context Length）
2K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2024-04-10
模型预文件大小
27.7GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
暂无公开的 API 定价信息。
MiniCPM-MoE-8x2B模型在各大评测榜单的评分
当前尚无可展示的评测数据。
发布机构
OpenBMB
查看发布机构详情
MiniCPM-MoE-8x2B模型解读
MiniCPM-MoE-8x2B是一个基于Mixture-of-Experts(MoE)架构的大型语言模型，包含8个专家模块。它基于先前的MiniCPM模型，利用了稀疏升循环(sparse upcycling)技术进行初始化。在推理时，每个token会激活2个专家模块，导致约40亿参数被激活。总的非嵌入参数量达到136亿。
该模型采用了路由机制:
使用softmax选择top2专家输出的加权和作为该层输出引入load balancing loss防止训练塌陷，权重0.01
评估结果:
在多个基准测试中优于7B模型，如Mistral、Gemma等进行了专家冗余和专家专长分析。
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
