如何估计大模型推理或者训练所需要的显存大小？HuggingFace官方工具Model Memory Calculator，一键计算大模型显存需求~

大模型对显卡资源的消耗是很大的。但是，具体每个模型消耗多少显存，需要多少资源大模型才能比较好的运行是很多人关心的问题。此前，DataLearner曾经从理论上给出了大模型显存需求的估算逻辑，详细说明了大模型在预训练阶段、微调阶段和推理阶段所需的显存资源估计（参考：需要多少GPU显存才能运行预训练大语言模型？大语言模型参数规模与显存大小的关系估算方法~）。而HuggingFace的官方库Accelerate直接推出了一个在线大模型显存消耗资源估算工具Model Memory Calculator，直接可以估算在HuggingFace上托管的模型的显存需求。

大模型显存计算工具Model Memory Calculator简介

Model Memory Calculator是HuggingFace的Accelerate推出的一个网页工具，你可以直接输入HuggingFace上某个模型地址，它就会估计这个模型运行所需要的显存大小，包括推理和使用Adam进行训练的显存估计。

这个工具估算大模型最小推荐显存资源的方式是用最大层的大小（the minimum recommended vRAM）来表示的。而训练这个模型所需的训练的显存大小，则是这个推理大小的4倍左右。

在许多深度学习模型中，尤其是Transformer类模型，层与层之间的操作往往需要在vRAM中存储中间计算结果，这些结果可能包括激活值、权重等。最大的一层可能需要最大的vRAM空间来存储这些中间结果，以进行前向和反向传播。