Orca-2-13b

为什么提出Orac2模型

Orac2模型是对先前Orac1模型的延伸，旨在探索如何通过改进的训练信号来增强小型语言模型（LMs）的推理能力。Orac1已经通过使用丰富的信号（如解释追踪）在诸如BigBench Hard和AGIEval等基准测试中超越了传统的指令调整模型。Orac2的目标是教授小型LMs使用不同的解决策略来应对不同的任务，这些策略可能与大型模型所使用的策略不同。

Orac2模型的特点

Orac2模型的主要特点是它教授模型使用多种推理技术（逐步处理、回忆然后生成、回忆-推理-生成、直接回答等）。更重要的是，它旨在帮助模型学习确定每个任务最有效的解决策略。Orac2在15个不同的基准测试（约100个任务和超过36,000个独特提示）上进行评估，显著超越了类似大小的模型，并达到或超过了比其大5-10倍的模型的性能水平，特别是在测试高级推理能力的复杂任务上。

Orac2模型的训练细节

Orac2模型的训练涉及两个主要方面：首先，教授小型模型如何使用一系列推理技术；其次，帮助这些模型决定何时使用最有效的推理策略。与Orac1一样，Orac2利用更强大的LLMs来展示各种任务中的各种推理策略。然而，在Orac2中，推理策略是根据任务量身定制的，同时考虑到学生模型是否能够执行相同的行为。此外，Orac2模型在训练阶段只暴露于任务和结果行为，而不看到触发此类行为的原始提示。这种“提示擦除”技术使Orac2成为一个谨慎的推理者，因为它不仅学会如何执行特定的推理步骤，还学会如何在更高层次上策略地处理特定任务。

Orac2模型的评价结果

Orac2在多个方面进行了全面评估，包括语言理解、常识推理、多步骤推理、数学问题解决、阅读理解、概括、基础性、真实性和有害内容的生成与识别。初步结果表明，Orac2在需要推理的任务上显著超越了类似大小的模型，甚至匹敌或超过了比其大5到10倍的模型，突显了赋予小型模型更好的推理能力的潜力。