吴恩达AI系列短课再添精品课程：如何基于LangChain使用LLM构建私有数据的问答系统和聊天机器人

吴恩达的DeepLearningAI在今天和LangChain的创始人一起合作发布了一个最新的基于LangChain使用LLM构建私有数据的问答系统和聊天机器人的课程（课程名：《LangChain: Chat with Your Data》）。LangChain是大语言模型应用开发领域目前最火的开源库。集成十分多的优秀特性，可以帮助我们非常简单构建LLM的应用。

用embedding检索解决大模型的限制问题

大语言模型（Large Language Model, LLM）的一个非常重要的效果就是对于意图的理解非常好，因此十分适合用来构建问答系统以及基于现有数据实现针对数据的聊天系统。但是，由于LLM的输入上下文有长度限制，因此如果你有较多的私有文档和数据的场景，LLM的能力会有很大限制。

然而你，借助embedding将这些数据向量化后存储到数据库中，并基于检索的思路先将问题相关的数据检索出来，再使用LLM进行回答是一种非常有用的思路。包括OpenAI的官方教程都说可以基于embeddings检索解决GPT无法处理长文本的问题（参考：https://www.datalearner.com/blog/1051681543488862 ）

OpenAI官方的教程中还认为在很多场景下，基于检索的思路解决这类问题比fine-tuning更好。原因参考上面的引用链接，这里不细说了。

显然，基于embedding检索做LLM的问答是一种非常低成本且快速的好方式。然而，基于embedding检索的方式需要集成embedding数据库，实现问题检索和回答，需要一定的工程技巧。而LangChain正好提供了这种工程技巧。

LangChain简介

LangChain是一个开源库，其目标是降低开发者对LLM应用的开发难度。LangChain本身提供了很多的机制让我们开发LLM应用很简单，包括统一的模型接口、数据操作加载、LLM代理、持久化等。提供了超过80个独特的数据加载机制。

LangChain官方提供了很多使用案例，包括基于文档的问答系统、聊天机器人、代理等。很容易上手，目前这已经是业界使用最多的LLM开发框架。

所以，基于LangChain开发LLM应用是一种简单且主流的方式。

《LangChain: Chat with Your Data》课程

本课程是吴恩达和LangChain创始人Harrison Chase一起推出的短课程，也就一个小时。一个月前，吴恩达已经和LangChain创始人合作推出过一个短课：《LangChain for LLM Application Development》。一个月后的再次合作新课程说明了LangChain的欢迎程度。

主要包括两个主题：（1）检索增强生成（Retrieval Augmented Generation，RAG），这是一个常见的LLM应用程序，可从外部数据集检索上下文文档；（2）构建聊天机器人的指南，该机器人根据文档的内容而不是在训练中学到的信息来响应查询。

具体包括：

1. 文档加载：了解数据加载的基本知识，并发现LangChain提供的80多个独特的加载器，用于访问各种数据源，包括音频和视频。
2. 文档拆分：了解拆分数据的最佳实践和注意事项。
3. 矢量存储和嵌入：深入了解嵌入（emebdding）的概念，探索LangChain中的矢量存储集成。
4. 检索：掌握访问和索引矢量存储中数据的高级技术，使您能够检索语义查询之外最相关的信息。
5. 答题：构建一次答题解决方案。
6. 聊天：了解如何跟踪和选择对话和数据源中的相关信息，因为您使用LangChain构建自己的聊天机器人。
7. 开始构建实用的应用程序，允许您使用LangChain和LLM与数据交互。

📝 课程名称：LangChain: Chat with Your Data ⏰ 课程时长：1个小时 🚀 适合的对象：初学者

目前该课程限时免费中~ 课程链接：https://www.deeplearning.ai/short-courses/langchain-chat-with-your-data/

吴恩达其它课程：

• Generative AI with Large Language Models，一个面向中级人员的生成式AI课程：https://www.datalearner.com/blog/1051688052742878
• 吴恩达宣布和OpenAI、LangChain、Lamini三家公司一起推出三门全新AI短视频课程：ChatGPT API、LangChain和Diffusion Models：https://www.datalearner.com/blog/1051685630124097