传闻OpenAI内部大模型推理能力获得进展，Q*项目进化成Strawberry！并且距离发布时间更近了！
638 阅读
尽管各家大模型技术进展神速，但是在复杂任务的推理上，大模型目前依然较弱。在去年底，各方消息透露，OpenAI内部有一个称为Q*的项目取得了重大的突破，可以大幅提高大模型的推理能力。但是，几个月过去了，这个当时吸引了大量讨论的项目没有任何信息。直到昨天，Reuters披露了Q*项目的进展，这个项目已经变为Strawberry！并且距离发布时间更近了！
加载中...
加载中...
尽管各家大模型技术进展神速，但是在复杂任务的推理上，大模型目前依然较弱。在去年底，各方消息透露，OpenAI内部有一个称为Q*的项目取得了重大的突破，可以大幅提高大模型的推理能力。但是，几个月过去了，这个当时吸引了大量讨论的项目没有任何信息。直到昨天，Reuters披露了Q*项目的进展，这个项目已经变为Strawberry！并且距离发布时间更近了！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
在2023年11月份，Reuters披露了这个称为Q Star的OpenAI内部项目，在路透社的独家报道中，Q Star是一个OpenAI内部的新模型，它可以解决一些数学问题。内部人士表示，虽然Q*模型目前仅仅可能只有小学生的水平，但是它可以解决一些数学问题。而与此前数学推理模型不同的是，Q*模型可能不是通过检索来解决问题，而是有可能有一点真正的人类推理能力。
关于Q*的详细内容可以参考DataLearnerAI此前的讨论：导致Sam离职风波背后的OpenAI最近的技术突破——Q*项目信息汇总
而根据Reuters的消息，目前Q*项目已经转为了Strawberry项目。
根据5月份的一份OpenAI内部文件副本，OpenAI内部团队正在研究Strawberry。目前无法确定文件的确切日期，该文件详细描述了OpenAI打算如何利用Strawberry进行研究的计划。消息人士将该计划描述为正在进行中的工作。新闻机构无法确定Strawberry距离公开发布有多近。
相关人员披露说Strawberry的工作原理即使在OpenAI内部也是一个严格的秘密。
文件描述了一个使用Strawberry模型的项目，旨在使公司AI不仅能回答查询，还能提前计划，足以自主可靠地在互联网上进行OpenAI称之为“深度研究”的工作。这种能力一直是目前AI模型难以实现的目标。
而在周二在一次内部全体会议上，OpenAI展示了一个声称具有新的人类推理技能的研究项目演示。OpenAI发言人确认了此次会议，但拒绝透露内容细节。不过目前无法确定演示的项目是否是Strawberry。
知情人士称，OpenAI希望这一创新能显著提高其AI模型的推理能力，并补充说，Strawberry最大的技术突破是在后训练上（也就是我们常说的预训练之后的微调对齐阶段）。路透社看到的文件描述了Strawberry的目标，但没有描述如何实现这些目标。OpenAI私下向开发人员和其他外部人士表示，他们即将推出具有显著更高级推理能力的技术。
目前，Strawberry项目无法证实或者证伪，但是Sam已经在很多场合提到过模型的升级速度远超想象。因此，当前发布的模型都是GPT-4的后续，如果Sam不是打烟雾弹，那么Strawberry项目或者近似的大幅提高大模型推理的技术应该值得期待。如果消息属实，那么下一个版本的GPT或者下下个版本的GPT将在推理能力上大幅提升，在复杂任务的解决上可能超过目前大家的期待。那么，当前阶段很多大模型相关应用的规划可能都有较大的变化。