OP

OpenAssistant LLaMA

OpenAssistant LLaMA

发布时间: 2023-03-09484
模型参数
300.0亿
上下文长度
2K
中文支持
不支持
推理能力

模型基本信息

推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-03-09
模型文件大小
60G
MoE架构
总参数 / 激活参数
300.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据

开源和体验地址

代码开源状态
暂无数据
预训练权重开源
暂无数据
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。

评测得分

当前尚无可展示的评测数据。

发布机构

模型解读

OpenAssistant是由LAION AI开源的一个AI Chat模型,它的目的是为每个人提供一个访问大模型的机会。


OpenAssistant是一个基于聊天的助手,能够理解任务,可以与第三方系统交互,并动态地检索信息以执行任务。

它可以轻松地扩展和个性化,并作为免费的开源软件开发。


OpenAssistant LLaMA是基于MetaAI开源的LLaMA模型微调得到,目前依然在不断的训练中,官方提供的关于OpenAssistant发展的路线图如下:



目前,官方提供了一个系统供大家使用访问,不过为了提升模型,需要我们自己能完成它们的一些人物获得reward之后才能对话,但是任务都比较简单。


系统地址: https://open-assistant.io/ 


OpenAssistant LLaMA是OpenAssistant系列模型中目前最大的(截止2023年4月26日),是基于MetaAI的LLaMA模型微调的结果,目前官方提供的模型应该是基于有监督微调的第6次迭代结果,也是目前OpenAssistant系列中最强的模型。


HuggingFace上对应的模型名称是oasst-sft-6-llama-30b-xor,其中oasst表示Open-Assistant,sft表示有监督学习supervised-fine-tuning,6按照LAION AI项目命名习惯应该是第6次迭代,llama表示该模型是基于LLaMA微调的,30b表示300亿参数,xor表示为了提供Open Access模型而提供的XOR weights(原因是MetaAI的限制,所有基于LLaMA微调的模型不能直接提供权重结果)。


不过,oasst-sft-6-llama-30b-xor目前仅在Linux上测试通过,在Windows上使用可能会报错。


OpenAssistant还提供了其它的版本,主要是基于pythia微调的结果供大家使用:

模型名称参数大小说明
oasst-sft-1-pythia-12b120亿这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。
oasst-sft-4-pythia-12b-epoch-3.5120亿这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。



基础模型

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码