加载中...
OpenAI的o1模型是当前最强大的具有超强推理能力的大语言模型。但是，o1模型本身的能力如何，o1版本和o1-mini版本模型的差异在哪等似乎都很不清晰。为此，OpenAI在Twitter上举办了一次AMA（Ask me anything）活动，解答了很多大家关心的问题。在这篇博客中，我们根据这个讨论结果总结了一下其中比较重要的信息供大家参考。
关于OpenAI o1模型本身的介绍，可以参考此前DataLearnerAI的文章内容：https://www.datalearner.com/blog/1051726184271628
Follow DataLearner WeChat for the latest AI updates
OpenAI的o1模型包含两个不同参数规模版本：分别是较大参数规模版本的o1模型和o1-mini，其中当前o1模型可能是没有训练完成（也可能是训练完成没有发布），发布的o1-preview版本是o1模型训练过程中的一个checkpoint。
而o1-mini模型则是参数规模较小的一个版本，虽然o1-mini的参数规模相对较小，但是与o1-preview相比，有些能力可能更强。o1-mini模型在STEM相关任务上（Science、Technology、Engineering和Math）表现很好，在编程相关的任务上甚至好于o1-preview。不过o1-mini的世界知识更少。
正式由于o1-mini模型更小更快，因此它可以比o1-preivew有探索更多的思维链（thought chain），这一点也许是获得更高准确性的一个关键。因为根据OpenAI官方的数据，推理迭代次数越多（也就是如果能探索更多的思维链），准确性也越高。
根据官方的描述，o1模型是一个全新的模型，它不是一个类似GPT-4o+系统工程做出来的。因为，也有人猜测，让GPT-4o产生更多的思维链结果，并一步一步去探索可能也有类似的效果。
然而，OpenAI官方说，o1是一个全新能力的模型，它不是一个“系统”，而是一个模型，训练的时候就是让它在返回最终答案之前需要生成很长的思维链结果。
o1系列模型与GPT-4o模型唯一的相同点可能就是它们使用了相同的tokenizer，输入的token数的计算逻辑和GPT-4o一样。不过，OpenAI官方描述说o1模型可以处理更长的输入文本，原话如下：
o1 models can handle longer, more open-ended tasks with less need for chunking input compared to GPT-4o
而当前GPT-4o的模型可以处理128K，这也许意味着o1系列模型可能可以处理更长的输入序列。不需要将此前的输入切分成多个小的块来处理。这句话至少告诉了我们如下信息：
o1具有更长文本处理能力："longer tasks" 指的是需要处理大量文本或信息的任务。 o1模型能够一次性处理更长的输入，而不需要将其分成多个小块。
开放式任务："more open-ended tasks" 指那些没有明确定义的边界或单一答案的任务。这可能包括创意写作、复杂问题解决、长篇分析等。
减少分块需求："less need for chunking input" 是这句话的关键。在处理长文本时，旧模型（如GPT-4o）常常需要将输入分成多个小块，逐块处理后再整合结果。o1模型减少了这种需求，能够更整体地处理长文本。
OpenAI官方描述成为了使用提高o1模型的思维链能力，他们采用了强化学习的方法进行训练。单纯的使用prompt技术是无法让GPT-4o模型达到类似水平的。
其实o1模型生成答案是很快的。但是，推理过程的思考步骤是需要不断总结前面的思考结果的，所以很慢。而思考过程官方是不会披露的，目前也没有任何计划去披露。目前只会纰漏思维链过程的总结结果。但是这个总结是不保证和原来的实际推理一致的。
OpenAI说，当前是无法暂停o1模型的思维链的推理过程。因此，你无法在推理过程中增加更多的上下文信息，不过，这个能力未来可能会加入。
当前o1模型的思考过程受到prompt影响很大。因此，OpenAI说，你的指令会极大影响模型的输出效果。如果你能提供一些edge cases或者推理风格，那么o1模型的表现也会变好，因为它对prompt中的线索很敏感，更容易接受提示中的推理线索。因此，如果使用RAG技术提供一些不错的内容是可以提升相关效果的，但是，如果你检索结果不相关反而会导致模型的推理效果变差。
OpenAI官方的API接口中，将大模型的输入输出tokens进一步细化，分为输入tokens、推理tokens和输出tokens。每一轮的对话如下图所示：
这里的turn就是只一次对话，每一次用户的输入，o1模型都会有2种不同的输出，一种是推理过程的思维链，即reasoning tokens，一种是推理结束后给用户的输出，即output tokens。在第二轮对话中，第一轮对话的Input+Output作为上下文继续输入，但是推理过程会被丢弃。
这里需要注意的是，虽然每一次的推理过程我们看不到，但是OpenAI说这部分的tokens是要按照输出的费用来算钱的（虽然但是，这是一个不对等的交易啊！）
虽然大家目前关注的主要是大模型的推理能力，但是o1模型本身已经在诗歌等侧向任务中战术了创造性思维和强大的表现。同时，在哲学推理能力和对密码破译方面的泛化能力令人印象深刻。o1甚至能思考“生命是什么”这样的哲学问题。
在未发布之前，很多研究人员也参与了o1模型的测试，包括创建一个GitHub机器人，用于提醒正确的代码所有者进行代码审查。而内部测试中，OpenAI甚至还让o1模型自我测验一些非常难的题目，以评估它的能力。
当前，o1模型可以认为是一个处理文本问题的模型。未来，o1模型会增加如下能力：
