加载中...
MetaAI最近公布了一个新的大语言模型预训练方法（LIMA: Less Is More for Alignment）。它最大的特点是不使用ChatGPT那样的（Reinforcement Learning from Human Feedback，RLHF）方法进行对齐训练。而是利用1000个精选的prompts与response来对模型进行微调，但却表现出了极其强大的性能。能够从训练数据中的少数几个示例中学习遵循特定的响应格式，包括从规划旅行行程到推测关于交替历史的复杂查询。
LIMA方法最主要的几个突破总结如下：
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
目前，MetaAI尚未宣布是否会开源这个模型（基于LLaMA-65B微调结果），LIMA在DataLearner上的模型信息卡地址：https://www.datalearner.com/ai-models/pretrained-models/LIMA
MetaAI最近公布了一个名为LIMA（Less Is More for Alignment，少即是多的对齐）的新模型，这在AI社区引起了轰动。LIMA是一个拥有650亿参数的LLaMA微调语言模型，它在仅有1000个精心策划的提示和响应上进行了标准的监督损失微调（standard supervised loss）。LIMA的特点是，它并不依赖任何强化学习或人类偏好建模，但却表现出了极其强大的性能。
MetaAI认为当前的大语言模型的训练可以大致分为2个阶段：一个是从原始文本中学习通用表示的无监督训练阶段，另一个是大规模的指令调整和强化学习以更好地对齐到最终任务和用户偏好。
而MetaAI认为，第二个阶段需要大量的人类标注的交互结果，非常的耗费时间和成本。但是，如果我们已经有了一个强大的预训练模型，那么应该可以有更简单的方法让模型拥有这样的能力。为此，MetaAI提出了LIMA，仅仅用1000个精心挑选的训练数据即可让模型激发强大的能力。
下图是LIMA使用的训练数据总结：
LIMA背后的核心思想是，对齐可以是一个简单的过程，可以是模型从与用户互动中学习相应的风格或格式，以展示在预训练期间已经获得的知识和能力。这种方法使LIMA能够从训练数据中的少数几个示例中学习遵循特定的响应格式，包括从规划旅行行程到推测关于交替历史的复杂查询。此外，该模型往往能很好地推广到未出现在训练数据中的未见任务。
在一个受控的人类研究中，LIMA的响应在43%的情况下与GPT-4相当或严格优于GPT-4。与Bard比较，这个统计数据高达58%，与通过人类反馈训练的DaVinci003比较，这个数字为65%。结果显示，LIMA能够遵循除50个分析提示中的6个之外的所有提示。50%的LIMA答案被认为是优秀的。
图1显示了人类偏好研究结果，而图2展示了GPT-4的偏好结果。二者很大程度上呈现出相同的趋势。主要测试结论如下：
尽管LIMA引起了很多人的关注，同时MetaAI宣称LIMA模型的思想非常好，可以极大的降低模型在对齐阶段和指令微调方面的成本。但是，很多人对这个结果表示质疑。其中最大的问题在于它没有使用我们常见的那种评价方法对模型的得分进行计算，而是用人类评估的方法对比它和GPT-4等模型的好坏，缺乏足够强大的说服力。同时，这个模型目前也没有开源，外界无法进行评估。
| 2 |
| Paper Authors (Group A) | 200 | 40 | 334 |
| Dev阶段 |
| Paper Authors (Group A) | 50 | 36 | N/A |
| 测试阶段（Test） |
| Pushshift r/AskReddit | 70 | 30 | N/A |
| Paper Authors (Group B) | 230 | 31 | N/A |
