检索增强生成(Retrieval-augmented generation,RAG)是一种将外部知识检索与大型语言模型生成相结合的方法,通常用于问答系统。当前使用大模型基于外部知识检索结果进行问答是当前大模型与外部知识结合最典型的方式,也是检索增强生成最新的应用。然而,近期的研究表明,这种方式并不总是最佳选择,特别是当检索到的文档数量较多时,这种方式很容易出现回答不准确的情况。为此,LangChain最新推出了LongContextReorder,推出了一种新思路解决这个问题。
通过从零开始实现一个感知机模型,我学到了这些【转载】
如何估计大模型推理或者训练所需要的显存大小?HuggingFace官方工具Model Memory Calculator,一键计算大模型显存需求~
各大企业和机构拥有的NVIDIA A100的GPU显卡数量
div和span的区别
如何基于PyTorch来优化大模型训练的内存(显存)使用:8种方法总结
Google反击OpenAI的大杀器!下一代语言模型PaLM 2:增加模型参数并不是提高大模型唯一的路径!
解决大语言模型的长输入限制:MetaAI发布MegaByte最高支持几百万上下文输入!
强大的对象分割开源算法!Meta AI开源Segment Anything: Working(SAM)预训练大模型!
学术工具
大语言模型的指令微调(Instruction Tuning)最全综述:从数据集到技术全解析
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)
回归模型中的交互项简介(Interactions in Regression)
贝塔分布(Beta Distribution)简介及其应用
矩母函数简介(Moment-generating function)
使用R语言进行K-means聚类并分析结果
普通最小二乘法(Ordinary Least Squares,OLS)的详细推导过程
H5文件简介和使用
深度学习技巧之Early Stopping(早停法)
Wishart分布简介
最小二乘法(Least Squares)详细介绍