Model Overview

Lit-LLaMA是由Lightning AI发布的基于LLaMA的开源模型。官方宣称这是独立实现的模型，使用的是nanoGPT的训练框架。

该模型最大的特点是完全开源，免费使用！

Lit-LLaMA的设计目标如下：

Lit-LLaMA的使用也非常简单：

1、下载代码：

git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama

2、安装依赖

pip install -r requirements.txt

这就安装好了。

需要注意的是，需要对原始的LLaMA预训练文件进行转换。所以需要大家自己去LLaMA上下载原始预训练文件，然后通过Lit-LLaMA提供的转换脚本对原始预训练文件进行转换才可以！（可以看到，其实只要一个人转换就i可以，官方此举可能是为了避免造成自己传播LLaMA预训练结果而采取的措施！）

Lit-LLaMA对于资源的要求很低，正常情况下，70亿规模参数的模型只需要26GB的显存即可（A100的GPU）。如果在显存更小的设备运行，需要做量化。如下代码演示了采用量化的方式运行（此举会导致载入模型时间很长，但是只需要8G显存即可运行）。

python generate.py --quantize true --prompt "Hello, my name is"

Lit-LLaMA