吴恩达AI系列短课再添精品课程:如何基于LangChain使用LLM构建私有数据的问答系统和聊天机器人
吴恩达的DeepLearningAI在今天和LangChain的创始人一起合作发布了一个最新的基于LangChain使用LLM构建私有数据的问答系统和聊天机器人的课程(课程名:《LangChain: Chat with Your Data》)。LangChain是大语言模型应用开发领域目前最火的开源库。集成十分多的优秀特性,可以帮助我们非常简单构建LLM的应用。

用embedding检索解决大模型的限制问题
大语言模型(Large Language Model, LLM)的一个非常重要的效果就是对于意图的理解非常好,因此十分适合用来构建问答系统以及基于现有数据实现针对数据的聊天系统。但是,由于LLM的输入上下文有长度限制,因此如果你有较多的私有文档和数据的场景,LLM的能力会有很大限制。
然而你,借助embedding将这些数据向量化后存储到数据库中,并基于检索的思路先将问题相关的数据检索出来,再使用LLM进行回答是一种非常有用的思路。包括OpenAI的官方教程都说可以基于embeddings检索解决GPT无法处理长文本的问题(参考:https://www.datalearner.com/blog/1051681543488862 )
