Pathways Language Model 简介

近年来，为语言理解和生成而训练的大型神经网络在广泛的任务中取得了令人印象深刻的结果。GPT-3首次表明，大型语言模型（LLMs）可用于少量的学习，并且无需大规模的特定任务数据收集或模型参数更新即可取得令人印象深刻的结果。最近的LLM，如GLaM、LaMDA、Gopher和Megatron-Turing NLG，通过扩大模型规模、使用稀疏的激活模块和在更多来源的更大的数据集上进行训练，在许多任务上取得了最先进的几发结果。然而，当我们推动模型规模的极限时，在理解几率学习所出现的能力方面还有很多工作要做。

去年，谷歌研究部宣布了我们对Pathways的愿景，即一个可以跨领域和任务通用的单一模型，同时具有很高的效率。实现这一愿景的一个重要里程碑是开发新的Pathways系统来协调加速器的分布式计算。在 "PaLM：用Pathways扩展语言建模 "中，我们介绍了Pathways语言模型（PaLM），这是一个用Pathways系统训练的5400亿个参数、仅有密集解码器的Transformer模型，它使我们能够在多个TPU v4 Pod上有效地训练一个模型。我们在数百个语言理解和生成任务上对PaLM进行了评估，发现它在大多数任务中实现了最先进的几率性能，在许多情况下都有显著的优势。