MOSS
MOSS is an AI model published by OpenLMLab, released on 2023-02-20, for 基础大模型, with 160.0B parameters, and 2K tokens context length, under the GNU AGPL 3.0 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
MOSS是复旦大学邱锡鹏教授开源的一个大语言模型，由于其良好的意图识别能力和多轮对话能力，被大家所关注。2023年2月20日早期版本和演示环境一经发布就吸引了大批的用户，造成环境的崩溃。
2023年4月21日，MOSS正式开源。MOSS包含6个版本：
| 模型名称 | 训练情况 | 下载地址 |
|---|---|---|
| moss-moon-003-base | MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，包含7000亿单词的中英文语料 | https://huggingface.co/fnlp/moss-moon-003-base |
| moss-moon-003-sft | 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力 | https://huggingface.co/fnlp/moss-moon-003-sft |
| moss-moon-003-sft-plugin | 基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在moss-moon-003-sft基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。 | https://huggingface.co/fnlp/moss-moon-003-sft-plugin |
| moss-moon-003-pm | 在基于moss-moon-003-sft收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。 | 暂未公布 |
| moss-moon-003 | 在moss-moon-003-sft基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。 | 暂未公布 |
| moss-moon-003-plugin | 在moss-moon-003-sft-plugin基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。 | 暂未公布 |
MOSS的训练语料有4个版本
| 语料名称 | 语料介绍 | 下载地址 |
|---|---|---|
| moss-002-sft-data | MOSS-002所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由text-davinci-003生成的约57万条英文对话和59万条中文对话。 | 点击下载 |
| moss-003-sft-data | moss-moon-003-sft所使用的多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，相比moss-002-sft-data，moss-003-sft-data更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。目前仅开源少量示例数据，完整数据将在近期开源。 | 点击下载 |
| moss-003-sft-plugin-data | moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。目前仅开源少量示例数据，完整数据将在近期开源。 | 点击下载 |
| moss-003-pm-data | moss-moon-003-pm所使用的偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据，将在近期开源。 | 暂未公布 |
MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
需要注意的是，MOSS资源使用较高，最低需要30G的显存才能运行。
MOSS的项目可以商用，需要申请，但是免费授权。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
