InternLM 20B
InternLM 20B is an AI model published by 上海人工智能实验室, released on 2023-09-20, for 基础大模型, with 200.0B parameters, and 16K tokens context length, requiring about 40GB storage, under the 免费商用授权 license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
InternLM 20B是上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语系列大模型，200亿参数规模。在超过 2.3T Tokens 包含高质量英文、中文和代码的数据上进行预训练，其中 Chat 版本还经过了 SFT 和 RLHF 训练，使其能够更好、更安全地满足用户的需求。
InternLM 20B 在模型结构上选择了深结构，层数设定为60层，超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下，提高层数有利于提高模型的综合能力。此外，相较于InternLM-7B，InternLM-20B使用的预训练数据经过了更高质量的清洗，并补充了高知识密度和用于强化理解与推理能力的训练数据。因此，它在理解能力、推理能力、数学能力、编程能力等考验语言模型技术水平的方面都得到了显著提升。总体而言，InternLM-20B具有以下的特点：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
