大模型对显卡资源的消耗是很大的。但是，具体每个模型消耗多少显存，需要多少资源大模型才能比较好的运行是很多人关心的问题。此前，DataLearner曾经从理论上给出了大模型显存需求的估算逻辑，详细说明了大模型在预训练阶段、微调阶段和推理阶段所需的显存资源估计，而HuggingFace的官方库Accelerate直接推出了一个在线大模型显存消耗资源估算工具Model Memory Calculator，直接可以估算在HuggingFace上托管的模型的显存需求。
今日推荐
UWMadison前统计学教授详解大模型训练最重要的方法RLHF，RLHF原理、LLaMA2的RLHF详解以及RLHF替代方法
Pseudo-document-based Topic Model(基于伪文档的主题模型)的理解以及源码解读
大模型如何使用长上下文信息？斯坦福大学最新论文证明，你需要将重要的信息放在输入的开始或者结尾处！
基于GPU的机器学习Python库——RAPIDS简介及其使用方法
最像OpenAI的企业Anthropic的重大产品更新：GPT-4最强竞争模型Claude2发布！免费！具有更强的代码能力与更长的上下文！
Transformer蓝图：Transformer 神经网络架构的综合指南——万字长文、20多个图片介绍大语言模型主流架构Transformer的发展历史、现状和未来结果
张华平分词（又名中科院分词/NLPIR分词）的使用（Java版本）
OpenAI发布企业使用的ChatGPT：没有限制且更快的GPT-4、数据隔离、基于GPT-4的高级数据分析功能，但是暂不支持私有化部署