Lit-LLaMA
Lit-LLaMA 是由 Cerebras Systems 发布的 AI 模型，发布时间为 2023-03-29，定位为 基础大模型，参数规模约为 650.0B，上下文长度为 2K，模型文件大小约 200。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
Lit-LLaMA是由Lightning AI发布的基于LLaMA的开源模型。官方宣称这是独立实现的模型，使用的是nanoGPT的训练框架。
该模型最大的特点是完全开源，免费使用！
Lit-LLaMA的设计目标如下：
Lit-LLaMA的使用也非常简单：
1、下载代码：
git clone https://github.com/Lightning-AI/lit-llama
cd lit-llama2、安装依赖
pip install -r requirements.txt这就安装好了。
需要注意的是，需要对原始的LLaMA预训练文件进行转换。所以需要大家自己去LLaMA上下载原始预训练文件，然后通过Lit-LLaMA提供的转换脚本对原始预训练文件进行转换才可以！（可以看到，其实只要一个人转换就i可以，官方此举可能是为了避免造成自己传播LLaMA预训练结果而采取的措施！）
Lit-LLaMA对于资源的要求很低，正常情况下，70亿规模参数的模型只需要26GB的显存即可（A100的GPU）。如果在显存更小的设备运行，需要做量化。如下代码演示了采用量化的方式运行（此举会导致载入模型时间很长，但是只需要8G显存即可运行）。
python generate.py --quantize true --prompt "Hello, my name is"
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
