MT-NLG
基础大模型Megatron-Turing Natural Language Generation model
模型参数
5400亿
上下文长度
2K
中文支持
不支持
推理能力
Megatron-Turing Natural Language Generation model 是由 Microsoft Azure 发布的 AI 模型，发布时间为 2022-01-28，定位为 基础大模型，参数规模约为 5400亿，上下文长度为 2K。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
MT-NLG
模型基本信息
推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2022-01-28
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
5400亿 / 不涉及
知识截止
暂无数据
MT-NLG
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
MT-NLG
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
MT-NLG
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
MT-NLG
评测结果
当前尚无可展示的评测数据。
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
MT-NLG
发布机构
Microsoft Azure
查看发布机构详情 Megatron-Turing Natural Language Generation model
模型解读
MT-NLG是由NVIDIA和微软共同发表的一篇论文，介绍了他们使用DeepSpeed和Megatron来训练Megatron-Turing NLG 530B模型的过程和结果。
该论文中提到，他们通过对Megatron-Turing NLG模型进行调整和优化，以便在NVIDIA的GPU集群上进行分布式训练，使用了类似于数据并行的技术，从而能够将模型的规模扩大到530B个参数，成为当时世界上最大的生成式语言模型之一。
该论文还介绍了他们使用该模型来生成各种类型的文本，并展示了该模型在多项自然语言生成任务上的表现。这些结果表明，Megatron-Turing NLG 530B模型不仅能够生成高质量的文本，而且具有强大的可扩展性和性能，为未来自然语言处理技术的发展提供了重要的参考。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
