MI
模型参数
24亿
上下文长度
128K
中文支持
支持
推理能力
MiniCPM-2B-128k 是由 OpenBMB 发布的 AI 模型，发布时间为 2024-04-10，定位为 基础大模型，参数规模约为 24亿，上下文长度为 128K，模型文件大小约 6.02GB，采用 OpenBMB通用模型许可协议-来源说明-宣传限制-商业授权 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MiniCPM-2B-128k
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
128K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-04-10
模型文件大小
6.02GB
MoE架构
否
总参数 / 激活参数
24亿 / 不涉及
知识截止
暂无数据
MiniCPM-2B-128k
开源和体验地址
MiniCPM-2B-128k
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
MiniCPM-2B-128k
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MiniCPM-2B-128k
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
MiniCPM-2B-128k
发布机构
OpenBMB
查看发布机构详情 MiniCPM-2B-128k
模型解读
MiniCPM-2B-128k是面壁智能开源的小规模参数语言模型MiniCPM的超长上下文优化版本。在此前的30亿参数及以下的大语言模型中，一般来说上下文长度都在4K及以内。而MiniCPM-2B-128k作为首个30亿以内参数的模型，上下文长度拓展到了128K，不过官方说，在4K以内，这个模型的性能有所下降。
MiniCPM-2B拓展到128K上下文经过了多个阶段，官方解释了这个过程：
多阶段衰减(decay)训练
- 首先将模型的最大文本长度从4k(4000个token)扩展到32k，再扩展到128k
- 为避免长文本在训练中过多出现影响效果,参考LWM方法对数据按长度分组,将长文本(>4k)的比例控制在40%
- 整个decay训练过程中共训练了80亿个token
- 在扩展到32k时，将RoPE基(一种位置编码方式)从10k提升到1M
- 在扩展到128k时，采用了课程学习和NTK相结合的方式,而不是直接将基提升到更大值，以减小对短文本的影响
SFT(Supervised Fine-tuning)训练
- 在原有SFT数据的基础上，额外补充了40%的合成长文本数据
- 在构造QA数据时，发现针对文章的不同位置生成问答对,可以显著提升模型的回答质量
相比较原始的MiniCPM-2B模型，该版本的模型架构有如下变化：
- 将词表大小从127653扩充至127660。
- 关闭了 tie embedding。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
