Lit-LLaMA is Lightning AI's independent, Apache 2.0-licensed implementation of the LLaMA architecture, released in March 2023 and based on nanoGPT. It let developers run, fine-tune and pre-train LLaMA-compatible models without LLaMA's original code licence.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
发布机构
模型解读
Lit-LLaMA是由Lightning AI发布的基于LLaMA的开源模型。官方宣称这是独立实现的模型，使用的是nanoGPT的训练框架。
该模型最大的特点是完全开源，免费使用！
Lit-LLaMA的设计目标如下：
- 简单：一个文件实现所有的内容
- 准确：与原始模型数值等效
- 优化：消费级硬件即可运行
- 开源：完全开源，无任何附带条件
Lit-LLaMA的使用也非常简单：
1、下载代码：
git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama
2、安装依赖
pip install -r requirements.txt
这就安装好了。
需要注意的是，需要对原始的LLaMA预训练文件进行转换。所以需要大家自己去LLaMA上下载原始预训练文件，然后通过Lit-LLaMA提供的转换脚本对原始预训练文件进行转换才可以！（可以看到，其实只要一个人转换就i可以，官方此举可能是为了避免造成自己传播LLaMA预训练结果而采取的措施！）
Lit-LLaMA对于资源的要求很低，正常情况下，70亿规模参数的模型只需要26GB的显存即可（A100的GPU）。如果在显存更小的设备运行，需要做量化。如下代码演示了采用量化的方式运行（此举会导致载入模型时间很长，但是只需要8G显存即可运行）。
python generate.py --quantize true --prompt "Hello, my name is"
基础模型
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
