Guanaco
Guanaco 是由 华盛顿大学自然语言处理小组 发布的 AI 模型,发布时间为 2023-05-23,定位为 基础大模型,参数规模约为 650.0B,上下文长度为 2K,采用 MIT License 许可。
数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法
Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型,基于LLaMA微调。包含4个版本:
| Guanaco模型名称 | Guanaco模型参数量 |
|---|---|
| Guanaco 65B | 650亿 |
| Guanaco 33B | 330亿 |
| Guanaco 13B | 130亿 |
| Guanaco 7B | 70亿 |
QLoRA是一种非常高效的大模型预训练技术,可以支持在单张专业级显卡微调650亿参数规模的大模型,具有很好的效果。关于QLoRA技术的简介: https://www.datalearner.com/blog/1051685029967582
注意,Guanaco模型基于LLaMA模型微调得到,受限于LLaMA不允许商用的限制,Guanaco也不能商用!
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
