加载中...
开发者运维（DevOps）是一种软件开发方法论，强调开发者除了开发工作以外也要参与到软件的部署和运维管理中，通过自动化和持续改进来提高质量和效率。随着机器学习的流行，MLOps开始出现。MLOps的主要目标是创建一个更有效、可重复和可靠的机器学习工作流程。现在，随着大语言模型的流行，LLMOps概念也随之提出。即如何高效地开发大模型应用，包括自动化管理升级如prompt、模型评估等。为此，吴恩达联合Google的研发人员推出了最新的大模型短课LLMOps，帮助大家学习大语言模型开发过程中的自动化测试、自动化Prompt管理等一系列实践，提高大模型应用开发的效率和质量。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
LLMOps是一个非常新的概念，它属于开发者运维的一种。但是更加强调大语言模型的开发运维。在实际的大语言模型开发中，我们通常需要经历几个步骤，包括数据预处理、prompt处理、大模型选型、大模型评估、大模型应用上线、大模型更换等。而这些开发工作中，我们并不希望每次做一个case或者更新一个模型就要手工重新开始走一遍，而希望尽可能的自动化完成整个过程。
这里需要理解的是设计一个大模型应用与做LLMOps之间是有差别的，前者的目标是为了完成基于大模型的应用设计，而后者则强调使用什么样的开发方法和流程确保更加高效高质量地完成前者的实现将结果。
上图是课程中对二者的对比，可以说LLMOps就是大语言模型的MLOps，更加强调如何开发大模型应用以及如何管理生产系统中的模型。包括基座模型的测试、Prompt的管理、监控输出以及测试模型输出等。而设计大模型应用系统的主要工作则是设计端到端的运行流程来落地。
下图是一个典型的LLM驱动的应用系统。
这张图展示了一个大型语言模型(LLM)驱动应用的高层次例子，分为三个主要部分：
用户界面：
幕后处理：
模型定制：
这个流程图显示了从用户输入到最终输出的完整路径，包括用户与界面的交互，模型的内部工作机制，以及在部署模型之前的定制工作。而LLMOps的主要工作则是绿色的部分。
就绿色部分的LLMOps而言，主要的工作如下图所示：
前面只是非常粗浅地介绍了LLMOps的概念和涉及的流程。在吴恩达的课程中都有非常详细的解释。
LLMOps课程共一个小时，这门课程将教你如何通过LLMOps（Large Language Model Operations）流程来预处理训练数据，进行有监督的指令调优（supervised instruction tuning），并适配一个有监督的调优流程来训练和部署一个定制化的大型语言模型（LLM）。这对于创建针对特定应用的LLM工作流程非常有用。例如，在课程中，你将学习创建一个针对回答Python编程问题的问答聊天机器人。
在这个课程中，你将学习LLMOps流程的关键步骤：
你将练习使用的工具包括BigQuery数据仓库、开源的Kubeflow Pipelines和Google Cloud。
总之，这门课程的目标是让你能够构建和管理一个大型语言模型的整个操作流程，从数据处理到模型训练，再到部署和监控，最终能够将其应用到实际场景中，例如构建一个专业的编程问题答疑机器人。虽然这门课里面使用了较多的Google工具，但是不影响核心的流程和概念。
📝 课程名称：LLMOps ⏰ 课程时长：1个小时 🚀 适合的对象：初级水平的人
LLMOps课程地址：https://www.deeplearning.ai/short-courses/llmops/ 目前免费。
吴恩达的大模型课程系列已经涵盖了非常多的课程了。此前，我们也介绍过其它的大模型相关课程，可以访问DataLeanrerAI的集合网址获得更多：https://www.datalearner.com/blog/blog_list/tag/%E5%90%B4%E6%81%A9%E8%BE%BE
这里也总结如下：
| 吴恩达宣布和OpenAI、LangChain、Lamini三家公司一起推出三门全新AI短视频课程：ChatGPT API、LangChain和Diffusion Models | https://www.datalearner.com/blog/1051685630124097 |
| 吴恩达AI系列短课再添精品课程：如何基于LangChain使用LLM构建私有数据的问答系统和聊天机器人 | https://www.datalearner.com/blog/1051688611720857 |
| 吴恩达联合OpenAI推出免费的面向开发者的ChatGPT Prompt工程课程——ChatGPT Prompt Engineering for Developers | https://www.datalearner.com/blog/1051682646763569 |
