Pathways Language Model-Embodied 简介

PaLM-E是谷歌发布的最新的多模态预训练大模型。该模型是从PaLM（ 模型卡：https://www.datalearner.com/ai-models/pretrained-models/PaLM ）演化。

大型语言模型已经被证明可以完成复杂的任务。然而，在现实世界中实现一般推理，例如用于机器人问题，提出了接地的挑战。我们提出了具身语言模型，以直接将现实世界的连续传感器模式纳入语言模型，从而建立单词和感知之间的联系。我们的具身语言模型的输入是多模式的句子，这些句子交织着视觉、连续状态估计和文本输入编码。我们将这些编码与预先训练好的大型语言模型一起进行端到端训练，用于多个具身任务，包括连续的机器人操作计划、视觉问题回答和字幕。我们的评估表明，PaLM-E，一个单一的大型体现性多模态模型，可以解决各种体现性推理任务，来自各种观察模式，在多个体现性上，并且进一步表现出积极的转移：该模型从互联网规模的语言、视觉和视觉语言领域的不同联合训练中受益。我们最大的模型，PaLM-E-562B，有562B个参数，除了在机器人任务上进行训练外，还是一个视觉语言通才，在OK-VQA上有最先进的表现，并且随着规模的扩大，保持了通才的语言能力。

不过，这个模型目前没有开源。