MiniCPM-2B-128k 简介

MiniCPM-2B-128k是面壁智能开源的小规模参数语言模型MiniCPM的超长上下文优化版本。在此前的30亿参数及以下的大语言模型中，一般来说上下文长度都在4K及以内。而MiniCPM-2B-128k作为首个30亿以内参数的模型，上下文长度拓展到了128K，不过官方说，在4K以内，这个模型的性能有所下降。

MiniCPM-2B拓展到128K上下文经过了多个阶段，官方解释了这个过程：

多阶段衰减(decay)训练

1. 首先将模型的最大文本长度从4k(4000个token)扩展到32k，再扩展到128k
2. 为避免长文本在训练中过多出现影响效果,参考LWM方法对数据按长度分组,将长文本(>4k)的比例控制在40%
3. 整个decay训练过程中共训练了80亿个token
4. 在扩展到32k时，将RoPE基(一种位置编码方式)从10k提升到1M
5. 在扩展到128k时，采用了课程学习和NTK相结合的方式,而不是直接将基提升到更大值，以减小对短文本的影响

SFT(Supervised Fine-tuning)训练

1. 在原有SFT数据的基础上，额外补充了40%的合成长文本数据
2. 在构造QA数据时，发现针对文章的不同位置生成问答对,可以显著提升模型的回答质量

相比较原始的MiniCPM-2B模型，该版本的模型架构有如下变化：

• 将词表大小从127653扩充至127660。

• 关闭了 tie embedding。