加载中...
这是OpenAI官方的cookebook最新更新的一篇技术博客，里面说明了为什么我们需要使用embeddings-based的搜索技术来完成问答任务。
尽管GPT的能力很强，但是OpenAI认为，基于embeddings的搜索依然十分重要。甚至，这种方式比模型做fine-tuning更好。本篇博客将简单介绍一下为什么OpenAI认为目前基于embeddings的搜索是GPT的最强补充能力！
尽管目前GPT-4或者ChatGPT的能力已经很强大，但是目前它依然有很大的缺陷：
Follow DataLearner WeChat for the latest AI updates
因此，OpenAI发布了这样一篇文档，说明如何使用两步搜索回答来增强GPT的能力：
GPT可以通过两种方式学习知识：
尽管微调可能感觉更自然——毕竟，通过数据训练是GPT学习所有其他知识的方式——但OpenAI通常不建议将其作为教授模型知识的方式。微调更适合于教授专业任务或风格，对于事实回忆来说则不太可靠。
注意，这里说的是事实回忆，也就是说，如果你有自己的数据，只想从数据中获得知识或者获得相关的内容，那么搜索比微调可能更好。举个例子来说，如果你有大批的历史数据，你只想找到数据中你需要的部分，包括某些概念在哪里出现过，为什么使用了它等等。这些都算是事实回忆。
但是，如果你希望模型可以基于某种模式生成某些内容。例如，你希望模型可以基于XX风格生成某些工作日志甚至是宣传内容，那么微调可能效果更好。
类比来说，模型权重就像长期记忆。当您对模型进行微调时，就像为一周后的考试而学习。当考试到来时，模型可能会忘记细节，或者错误地记住它从未读过的事实。
相比之下，消息输入就像短期记忆。当您将知识插入消息时，就像带着开放的笔记参加考试。有了笔记，模型更有可能得出正确的答案。
相对于微调，文本搜索的一个缺点是每个模型一次只能读取有限数量的文本，以OpenAI为例，其一次输入的内容限制如下：
延续这个比喻，您可以将模型想象成一位学生，尽管可能有许多参考书可供借鉴，但一次只能查看几页笔记。
因此，为了构建一个能够利用大量文本回答问题的系统，OpenAI建议使用“搜索-提问”方法。
搜索文本的方法很多，包括：
OpenAI推荐的词嵌入方法。嵌入很容易实现，并且在问题中表现尤为出色，因为问题通常在词汇上不会与它们的答案重叠。
可以考虑将仅使用嵌入的搜索视为作为整个系统的起点。更好的搜索系统可能会结合多种搜索方法，以及特性，如受欢迎程度、最近性、用户历史记录、与先前搜索结果的冗余、点击率数据等。
通过将问题首先转换为假设的答案然后再进行嵌入的技术，如HyDE，也可以提高问答检索的性能。同样，GPT还可以通过自动将问题转换为一组关键词或搜索术语来潜在地改善搜索结果。
总的来说，这样的系统包含3个步骤：准备需要检索的知识、检索、提问即可：
简单总结一下就是将原始数据用嵌入的方式存储，然后针对问题获取embeddings结果，再利用这个结果检索最相似的内容，把这个提问和最相似的结果发给GPT，获得GPT的回答即可。也就是说，这是另一种解决GPT无法回答最新数据和长文本内容的方法！
这个方法比原始的方法来说多了几个步骤，但是成本并不一定更多，因为GPT的接口比embedding的接口更贵。如果系统中查询次数比较多，那么成本主要在步骤上面的步骤3（提问）。有个简单的计算方法：
gpt-3.5-turbo来说，每次查询假设1000个tokens，那么每次查询成本0.002美元，约等于1美元查询500次gpt-4接口来说，假设每次查询依然1000个tokens，那么每次查询成本0.03美元，一美元可以查询30次！但是这只是简单估算，具体的成本可能还要看系统什么样子。
这是一个非常棒的idea。可以解决目前GPT或者其它大模型没有最新数据或者输入限制的问题。在AutoGPT中，作者也有一个思路，就是每次都把最近的问题以及最相关的目标一起发送给GPT，获得答案，以此来获得更长记忆的能力。但是从实现效果来说，OpenAI这种利用Embeddings先获取最相关文本再提问的方式可能是比较优雅的。而且也可以控制输入和输出的tokens。