Orca 2：小型语言模型的推理能力大突破
随着人工智能的不断发展，语言模型（Language Models，简称LMs）在模拟人类语言理解和生成方面取得了显著进展。近日，一个名为Orca 2的新型小型语言模型引起了业界的广泛关注。本文将详细介绍Orca 2的参数、特点以及其在小型模型领域的创新价值。
Orca 2模型概述
Orca 2是继续探索小型LMs（10亿参数级别或更少）能力的最新成果。它通过改进的训练信号和方法，使得小型语言模型在零样本（zero-shot）设置中，实现了通常只有在更大模型中才能找到的增强推理能力。
Orca 2在类似大小的模型（包括原始的Orca模型）中表现出色，并且在测试高级推理能力的复杂任务中，达到了与大5-10倍的模型相似或更好的性能水平。
Orca 2有两种规模（70亿和130亿参数）；两者均通过在量身定制的高质量合成数据上微调相应的LLAMA 2基础模型创建而成。我们开源Orca 2，以鼓励对小型LMs的发展、评估和对齐进行更多研究。
Orca 2的创新点
Orca 2背后的一个关键洞见是，不同的任务可能会受益于不同的解决策略（例如逐步处理、回忆后生成、回忆-推理-生成、提取-生成和直接回答），而大型模型采用的解决策略可能不是最适合小型模型的。例如，虽然像GPT-4这样功能强大的模型可以直接回答复杂任务，但小型模型可能会受益于将任务分解成步骤。
Orca 2通过扩展的、高度定制的合成数据集进行训练。训练数据的生成方式旨在教会Orca 2各种推理技术，同时也教会它为不同的任务选择不同的解决策略。
Orca 2的性能评估
为了评估Orca 2，我们使用了一套包括大约100个任务和超过36,000个独特测试用例的15个多样化基准测试，在零样本设置中涵盖了语言理解、常识推理、多步推理、数学问题解决、阅读理解、总结、根据性、真实性以及有害内容的生成和识别等多个方面。
初步结果表明，Orca 2的性能显著超过了类似大小的模型。它还达到了至少比10倍大的模型相似或更好的性能水平，展示了通过更好的推理能力装备小型模型的潜力。
结论
我们对Orca 2模型的研究取得了提高小型语言模型推理能力的重要见解。通过使用定制的合成数据对这些模型进行战略性训练，我们实现了与大型模型相媲美或超越的性能水平，特别是在零样本推理任务中。
Orca 2的成功在于其应用了多样化的推理技术，并为不同任务确定了最佳解决方案。尽管它有一些限制，包括从其基础模型继承的限制以及其他语言模型常见的限制，但Orca 2在未来改进推理、专业化、控制和小型模型安全性方面的潜力是显而易见的。使用精心筛选的合成数据进行后期训练，成为这些改进的关键策略。
我们的发现强调了在需要平衡效率和能力的场景中小型模型的价值。随着大型模型继续表现出色，我们与Orca 2的工作标志着在语言模型的应用和部署选项多样化方面迈出了重要的一步。