Salesforce的研究人员在前几天提交了一个非常有意思的论文，它可以把自然语言直接转换成代码。他们的提出的CodeGen模型是一个大型的语言模型，是一种会话式的语言模型。CodeGen使编程像说话一样简单，可以将英文描述转换为可用的Python代码—这将允许任何人编写代码，即使他们没有编程经验。

新方法将编写规范和程序的过程描述为用户和系统之间的多轮对话。它将程序合成视为一个序列预测问题，其中规范是用自然语言表达的，所需的程序是有条件采样的。我们在自然语言和编程语言数据上训练一个大型语言模型系列，称为CodeGen。随着数据中的弱监督以及数据规模和模型规模的扩大，对话能力从简单的自回归语言建模中出现。为了研究对话式程序合成的模型行为，我们开发了一个多轮编程基准（MTPB），其中解决每个问题需要通过用户和模型之间的多轮对话进行多步骤合成。我们的发现显示了对话能力的出现和所提出的对话式程序合成范式的有效性。此外，我们的模型CodeGen（在TPU-v4上训练了多达16B的参数）在HumanEval基准上超过了OpenAI的Codex。我们将包括检查点在内的训练库JaxFormer作为开放源码贡献出来。

论文地址：https://doi.org/10.48550/arXiv.2203.13474