OpenAssistant LLaMA - OpenAssistant LLaMA

模型详细情况和参数

OpenAssistant LLaMA

模型全称
OpenAssistant LLaMA
模型简称
OpenAssistant LLaMA
模型类型
基础大模型
发布日期
2023-03-09
预训练文件大小
60G
是否支持中文(中文优化)
最高支持的上下文长度
2K
模型参数数量(亿)
300.0
模型代码开源协议
预训练结果开源商用情况
-
在线演示地址
暂无
DataLearnerAI的模型介绍
官方博客论文
暂无
基础模型
...
LLaMA
查看详情
发布机构

OpenAssistant LLaMA 简介

OpenAssistant是由LAION AI开源的一个AI Chat模型,它的目的是为每个人提供一个访问大模型的机会。


OpenAssistant是一个基于聊天的助手,能够理解任务,可以与第三方系统交互,并动态地检索信息以执行任务。

它可以轻松地扩展和个性化,并作为免费的开源软件开发。


OpenAssistant LLaMA是基于MetaAI开源的LLaMA模型微调得到,目前依然在不断的训练中,官方提供的关于OpenAssistant发展的路线图如下:



目前,官方提供了一个系统供大家使用访问,不过为了提升模型,需要我们自己能完成它们的一些人物获得reward之后才能对话,但是任务都比较简单。


系统地址: https://open-assistant.io/ 


OpenAssistant LLaMA是OpenAssistant系列模型中目前最大的(截止2023年4月26日),是基于MetaAI的LLaMA模型微调的结果,目前官方提供的模型应该是基于有监督微调的第6次迭代结果,也是目前OpenAssistant系列中最强的模型。


HuggingFace上对应的模型名称是oasst-sft-6-llama-30b-xor,其中oasst表示Open-Assistant,sft表示有监督学习supervised-fine-tuning,6按照LAION AI项目命名习惯应该是第6次迭代,llama表示该模型是基于LLaMA微调的,30b表示300亿参数,xor表示为了提供Open Access模型而提供的XOR weights(原因是MetaAI的限制,所有基于LLaMA微调的模型不能直接提供权重结果)。


不过,oasst-sft-6-llama-30b-xor目前仅在Linux上测试通过,在Windows上使用可能会报错。


OpenAssistant还提供了其它的版本,主要是基于pythia微调的结果供大家使用:

模型名称参数大小说明
oasst-sft-1-pythia-12b120亿这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。
oasst-sft-4-pythia-12b-epoch-3.5120亿这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。



欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

OpenAssistant LLaMA所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

OpenAssistant LLaMA相关的任务
问答系统

问答系统

Question Answering

35个资源