LongForm LLaMA 7B

LongForm LLaMA 7B是慕尼黑大学研究人员基于LongForm数据集微调LLaMA模型的预训练大模型。LongForm是一系列指令微调数据集，包含27739条记录。这是通过使用LLM从数据集中生成指令后得到的指令微调数据集。是一种低成本高质量的指令微调数据集获取方法。

LongForm LLaMA 7B就是利用上述数据集，用LLaMA微调得到的。但是，由于LLaMA模型协议的限制，研究人员无法直接发布基于LLaMA微调的任何结果。因此，他们发布了一个diff模型：LongForm-LLaMA-7B-diff。

LongForm-LLaMA-7B-diff是一个预训练结果，但是这个预训练结果是LongForm-LLaMA-7B与原始LLaMA-7B模型的差异结果。也就是说不包含原始LLaMA的任意部分。这也是规避MetaAI模型开源限制的方法。使用的时候，需要先从MetaAI那里获取原始的LLaMA模型，然后再加载这个LongForm-LLaMA-7B-diff模型，将二者合并之后得到真正的LongForm LLaMA 7B模型后才能使用。

根据官方的测试，基于LongForm数据集微调的模型效果非常好：