大语言模型可以在数学的推理计算上的错误下降了10倍!

标签:大语言模型 时间:2022-11-21 22:32:11.999 发布者:小木

论文名:Teaching Algorithmic Reasoning via In-context Learning
发布时间:2022-11-15
论文地址:https://arxiv.org/abs/2211.09066
代码地址:

原文摘要:大型语言模型(LLMs)通过扩大模型和数据规模,显示出越来越强的语境学习能力。尽管取得了这一进展,LLMs仍然无法解决算法推理问题。虽然提供最终答案的理由使得多步骤推理问题有了进一步的改善,但Anil等人在2022年的研究中表明,即使是简单的算法推理任务,如奇偶性,也远远没有得到解决。在这项工作中,我们确定并研究了成功向LLM教授算法推理的四个关键阶段:(1)将算法制定为技能;(2)同时教授多种技能(技能积累);(3)教授如何组合技能(技能构成);(4)教授如何将技能作为工具使用。我们表明,有可能通过语境中的学习向LLMs教授算法推理,我们称之为算法提示。我们在各种算术和定量推理任务上评估了我们的方法,并证明了比现有的提示技术在性能上有明显的提升。特别是对于长奇偶性、加法、乘法和减法,与现有的最佳基线相比,我们分别实现了约10倍、9倍、5倍和2倍的错误减少。