大模型领域新玩法：MultiQueryRetriever检索器深度解析

<h1 id="h1--multiqueryretriever-"><a name="大模型领域新玩法：MultiQueryRetriever检索器深度解析" class="reference-link"></a><span class="header-link octicon octicon-link"></span>大模型领域新玩法：MultiQueryRetriever检索器深度解析</h1><h2 id="h2--multiqueryretriever-"><a name="一、MultiQueryRetriever检索器简介" class="reference-link"></a><span class="header-link octicon octicon-link"></span>一、MultiQueryRetriever检索器简介</h2><p>MultiQueryRetriever是LangChain开发的一种新型检索器。在自然语言处理中，我们常常会遇到一个问题，那就是直接按照查询的文本进行相似度查找，可能无法得到很好的结果，原因在于对查询文本进行向量化（Embedding）时，可能因为用词的准确性导致检索结果出现差异。</p>
<p>这时，MultiQueryRetriever就派上用场了。其工作原理是利用大语言模型（LLM）对用户输入的查询文本进行提炼抽象，从不同的角度生成若干个相似的查询文本，然后把所有查询结果的独特并集拿出来，形成一个更大的、可能相关的文档集。</p>
<p>通过这种多角度的查询方式，MultiQueryRetriever可以有效解决原始查询文本描述不够准确的问题，为我们提供一批更为丰富、更具深度的检索结果。</p>
<h2 id="h2--multiqueryretriever-"><a name="二、MultiQueryRetriever检索器的优势与风险" class="reference-link"></a><span class="header-link octicon octicon-link"></span>二、MultiQueryRetriever检索器的优势与风险</h2><h3 id="h3-u4F18u52BF"><a name="优势" class="reference-link"></a><span class="header-link octicon octicon-link"></span>优势</h3><ol>
<li><p><strong>提高检索效果</strong>：通过对查询文本的提炼抽象，MultiQueryRetriever可以从多个角度生成相似的查询文本，从而获取更全面的检索结果，解决了原始查询文本描述不准确的问题。</p>
</li><li><p><strong>不会增加过多的时间成本</strong>：虽然MultiQueryRetriever需要生成多个查询文本，但由于可以进行异步调用，因此在时间上不会慢太多。</p>
</li></ol>
<h3 id="h3-u98CEu9669"><a name="风险" class="reference-link"></a><span class="header-link octicon octicon-link"></span>风险</h3><ol>
<li><p><strong>费token</strong>：使用MultiQueryRetriever进行检索会消耗更多的token。</p>
</li><li><p><strong>可能漏掉重要信息</strong>：如果生成的摘要没有覆盖到原始查询中的重要信息，可能会导致检索结果无法命中。</p>
</li></ol>
<h2 id="h2--multiqueryretriever-"><a name="三、如何优化MultiQueryRetriever的使用" class="reference-link"></a><span class="header-link octicon octicon-link"></span>三、如何优化MultiQueryRetriever的使用</h2><p>针对上述风险，我们可以采取以下措施进行优化：</p>
<ol>
<li><p><strong>使用reranker进行结果排序</strong>：在获取到多角度的检索结果后，我们可以使用reranker对结果进行重新排序，以提高检索的精确性。reranker可以是单独训练的模型，例如<a href="https://huggingface.co/BAAI/bge-reranker-large。">https://huggingface.co/BAAI/bge-reranker-large。</a></p>
</li><li><p><strong>原始查询作为一路召回</strong>：在使用MultiQueryRetriever进行多角度查询时，可以将原始查询作为一路召回，以确保不会漏掉重要信息。</p>
</li></ol>
<h2 id="h2--"><a name="四、总结" class="reference-link"></a><span class="header-link octicon octicon-link"></span>四、总结</h2><p>MultiQueryRetriever作为大模型领域的新工具，具有较大的实用价值。通过对查询文本的提炼抽象，它可以从多个角度获取更全面的检索结果。虽然在使用过程中存在一些风险，但通过合理的优化，我们可以将这些风险降到最低，从而更好地利用这一工具。</p>
<p>以上就是我对MultiQueryRetriever检索器的深度解析，希望能对你有所帮助。如果你有任何问题或想法，欢迎在评论区留言，我们可以一起探讨。</p>

大模型领域新玩法：MultiQueryRetriever检索器深度解析

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客