Guanaco
Guanaco is an AI model published by 华盛顿大学自然语言处理小组, released on 2023-05-23, for 基础大模型, with 650.0B parameters, and 2K tokens context length, under the MIT License license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型，基于LLaMA微调。包含4个版本：
| Guanaco模型名称 | Guanaco模型参数量 |
|---|---|
| Guanaco 65B | 650亿 |
| Guanaco 33B | 330亿 |
| Guanaco 13B | 130亿 |
| Guanaco 7B | 70亿 |
QLoRA是一种非常高效的大模型预训练技术，可以支持在单张专业级显卡微调650亿参数规模的大模型，具有很好的效果。关于QLoRA技术的简介： https://www.datalearner.com/blog/1051685029967582
注意，Guanaco模型基于LLaMA模型微调得到，受限于LLaMA不允许商用的限制，Guanaco也不能商用！
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
