康奈尔大学发布可以在一张消费级显卡上微调650亿参数规模大模型的框架：LLMTune
2,807 阅读
尽管大模型的研究十分火热，开源模型也很丰富。但是对于很多研究团队来说，基于开源模型进行特定领域的模型微调依然是一项成本高昂的活动。因此，大模型的小型化、低成本训练等方法一直在快速演进。前天，Cornell Tech开源了LLMTune，这是一个可以在消费级显卡上微调大模型的框架，经过测试，可以在48G显存的显卡上微调4bit的650亿参数的LLaMA模型！
加载中...
加载中...
大语言模型虽然能力很强，目前开源生态也很丰富，但是在特定领域微调大模型依然需要大规格的显卡。例如，清华大学发布的ChatGLM-6B，参数规模60亿，在没有量化的情况下微调需要14GB显存（parameter-efficient fine-tuning，PEFT)。
在没有任何优化的前提下，每10亿参数的全精度（32bit）模型载入到显存中就需要4GB，而int8量化后也需要1GB显存。而目前开源最强的模型LLaMA，其最高参数维650亿规模，全精度模型载入就需要260GB，显然已经超出了大部分人的硬件水平。更不要说对模型进行微调（微调需要训练更新参数，推理只需要前向计算即可，因此，微调需要更多的显存才能支持）。
本次，Cornell Tech开源的LLMTune就是为了降低大模型微调难度所提出的一种解决方案。对于650亿参数的LLaMA模型微调仅需要40GB显存即可。
LLMTune在底层实现了LoRA算法，该算法使用GPTQ压缩LLM，需要实现量化版本LLM的反向传递。LLMTune的功能包括：
Cornell Tech开源LLMTune的最终目的是为了提供一个可以简单微调大模型的平台，并促进LLM相关的研究。
LLMTune底层实现了LoRA算法，它依赖的库也很少，主要包括：
注意，LLMTune目前仅支持在NVIDIA显卡上的微调，所以上述PyTorch也需要cuda版本才可以使用。具体的LLMTune要求如下：
使用方法也很简单，首先从官方GitHub下载LLMTune代码，然后运行如下2个命令安装：
pip install -r requirements.txt # 安装LLMTune依赖的库
pip setup.py install # 安装LLMTune
注意，LLMTune目前支持量化版本的模型微调，可以按照如下命令下载LLaMA的4bit版本预训练结果。
wget https://huggingface.co/kuleshov/llama-65b-4bit/resolve/main/llama-65b-4bit.pt
wget https://huggingface.co/datasets/kuleshov/alpaca-data/resolve/main/dataset.json
# 先创建一个微调结果目录
mkdir alpaca-adapter-folder-65b-4bit
# 然后运行如下命令进行微调
llmtune finetune --model llama-65b-4bit --weights llama-65b-4bit.pt --adapter alpaca-adapter-folder-65b-4bit --dataset dataset.json
接下来等待微调结束即可~你也可以写一个py文件来微调模型：
import llmtune.executor as llmtune
llm, llm_config = llmtune.load_llm('llama-7b-4bit', '/path/to/llama-7b-4bit.pt')
output = llmtune.generate(
llm,
llm_config,
prompt="the pyramids were built by",
min_length=10,
max_length=50,
top_p=0.95,
temperature=0.8,
)
print(output)
目前，项目给出了LLMTune支持的模型规模和所需要的显存大小：
未来，LLMTune还将陆续增加如下功能：
LLMTune的出现让我们看到了在消费级显卡上进行大模型微调的可能。除了它以外也有一些大模型的微调工作在进行中。其中比较值得期待的是华盛顿大学的博士生Tim Dettmers正在进行的工作。与LLMTune类似，他们即将发表的大模型微调技术，QLoRA正在招募测试，可以用48GB显存微调650亿参数规模大模型。按照他的描述，他们做的工作包括三部分：
不过，具体的技术细节还未公布，目前只是招募测试人员提前测试技术，我们保持密切关注。
从近期的发展看，大模型的微调成本继续在下降，未来单张显卡训练650亿参数模型应该是可以达到的。我们后续将测试这种微调技术的效果。