Stanford Alpaca

斯坦福大学发布的Stanford-Alpaca则是基于70亿参数版本的LLaMA做微调的模型，使用了5.2万的instruction-following数据。基于初步的人工判断，该模型的效果与OpenAI的text-davinci-003水平差不多。微调70亿参数的LLaMA花了大约3个小时，使用了8个80GB的A100显卡。而这些在云上的费用不足100美金，因此相当低廉！

Stanford Alpaca提供了一种非常低成本提高模型对话能力的方法。同时，基于MetaAI开源的LLaMA做的开源版本也显示了强大的水平。这证明了，采用高精度的指令数据集也是可以将模型提高到一个很好的水平。而Stanford Alpaca也启示了很多后续模型的开发。

Alpaca使用如下参数对LLaMA-7B和LLaMA-13B的模型进行微调

超参数	LLaMA-7B	LLaMA-13B
批次大小	128	128
学习速率	2e-5	1e-5
Epochs	3	5
Max length	512	512
Weight decay	0	0

目前，Stanford-Alpaca还在开发中，但是已经引起了很多人的关注。但是，本次项目的开源需要被MetaAI允许，所以目前仅提供在线测试版本：https://alpaca-ai-custom6.ngrok.iol/

该项目目前发布仅仅12个小时，已经在GitHub上获得了1.6K的star了，速度惊人！

项目GitHub地址：https://github.com/tatsu-lab/stanford_alpaca
官方博客地址：https://crfm.stanford.edu/2023/03/13/alpaca.html

---------------2023/4/4更新---------------

目前，Stanford Alpaca已经开源了相关的数据集和代码，主要包括

52K用于微调模型的数据集： https://github.com/tatsu-lab/stanford_alpaca#data-release 

用于生成数据的代码： https://github.com/tatsu-lab/stanford_alpaca#data-generation-process 

模型微调代码： https://github.com/tatsu-lab/stanford_alpaca#fine-tuning 

在线演示地址： https://crfm.stanford.edu/alpaca/ 

不过Alpaca模型的预训练结果目前还没有发布，根据官方博客的消息，该预训练结果将在近日发布。