InternLM 20B - InternLM 20B

模型详细情况和参数

InternLM 20B

模型全称
InternLM 20B
模型简称
InternLM 20B
模型类型
基础大模型
发布日期
2023-09-20
预训练文件大小
40GB
是否支持中文(中文优化)
最高支持的上下文长度
16K
模型参数数量(亿)
200.0
模型代码开源协议
Apache 2.0
预训练结果开源商用情况
免费商用授权 - 免费商用授权
在线演示地址
暂无
DataLearnerAI的模型介绍
官方博客论文
暂无
基础模型
无基础模型

InternLM 20B 简介

InternLM 20B是上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语系列大模型,200亿参数规模。在超过 2.3T Tokens 包含高质量英文、中文和代码的数据上进行预训练,其中 Chat 版本还经过了 SFT 和 RLHF 训练,使其能够更好、更安全地满足用户的需求。

InternLM 20B 在模型结构上选择了深结构,层数设定为60层,超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下,提高层数有利于提高模型的综合能力。此外,相较于InternLM-7B,InternLM-20B使用的预训练数据经过了更高质量的清洗,并补充了高知识密度和用于强化理解与推理能力的训练数据。因此,它在理解能力、推理能力、数学能力、编程能力等考验语言模型技术水平的方面都得到了显著提升。总体而言,InternLM-20B具有以下的特点:

  • 优异的综合性能
  • 很强的工具调用功能
  • 支持16k语境长度(通过推理时外推)
  • 更好的价值对齐

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

InternLM 20B所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

InternLM 20B相关的任务
问答系统

问答系统

Question Answering

35个资源