DataLearner 标志
OP

OpenAssistant LLaMA

基础大模型OpenAssistant

OpenAssistant LLaMA

发布时间: 2023-03-09更新于: 2023-04-26 21:57:45.596622
模型参数
300亿
上下文长度
2K
中文支持
不支持
推理能力

OpenAssistant LLaMA 是由 LAION AI 发布的 AI 模型,发布时间为 2023-03-09,定位为 基础大模型,参数规模约为 300亿,上下文长度为 2K,模型文件大小约 60G。

数据优先来自官方发布(GitHub、Hugging Face、论文),其次为评测基准官方结果,最后为第三方评测机构数据。 了解数据收集方法

OpenAssistant LLaMA

模型基本信息

推理过程
不支持
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-03-09
模型文件大小
60G
MoE架构
总参数 / 激活参数
300亿 / 不涉及
知识截止
暂无数据
OpenAssistant LLaMA

开源和体验地址

代码开源状态
暂无数据
预训练权重开源
暂无数据
在线体验
暂无在线体验地址
OpenAssistant LLaMA

官方介绍与博客

官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
OpenAssistant LLaMA

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
OpenAssistant LLaMA

评测结果

当前尚无可展示的评测数据。

和其他模型对比

暂时没有为该模型整理的相关对比页面。

想自定义其他组合?打开对比工具

OpenAssistant LLaMA

发布机构

OpenAssistant LLaMA

模型解读

OpenAssistant是由LAION AI开源的一个AI Chat模型,它的目的是为每个人提供一个访问大模型的机会。


OpenAssistant是一个基于聊天的助手,能够理解任务,可以与第三方系统交互,并动态地检索信息以执行任务。

它可以轻松地扩展和个性化,并作为免费的开源软件开发。


OpenAssistant LLaMA是基于MetaAI开源的LLaMA模型微调得到,目前依然在不断的训练中,官方提供的关于OpenAssistant发展的路线图如下:



目前,官方提供了一个系统供大家使用访问,不过为了提升模型,需要我们自己能完成它们的一些人物获得reward之后才能对话,但是任务都比较简单。


系统地址: https://open-assistant.io/ 


OpenAssistant LLaMA是OpenAssistant系列模型中目前最大的(截止2023年4月26日),是基于MetaAI的LLaMA模型微调的结果,目前官方提供的模型应该是基于有监督微调的第6次迭代结果,也是目前OpenAssistant系列中最强的模型。


HuggingFace上对应的模型名称是oasst-sft-6-llama-30b-xor,其中oasst表示Open-Assistant,sft表示有监督学习supervised-fine-tuning,6按照LAION AI项目命名习惯应该是第6次迭代,llama表示该模型是基于LLaMA微调的,30b表示300亿参数,xor表示为了提供Open Access模型而提供的XOR weights(原因是MetaAI的限制,所有基于LLaMA微调的模型不能直接提供权重结果)。


不过,oasst-sft-6-llama-30b-xor目前仅在Linux上测试通过,在Windows上使用可能会报错。


OpenAssistant还提供了其它的版本,主要是基于pythia微调的结果供大家使用:

模型名称参数大小说明
oasst-sft-1-pythia-12b120亿这是Open-Assistant项目的第一次迭代英语监督微调(supervised-fine-tuning,SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月7日之前通过https://open-assistant.io/人工反馈Web应用程序收集的约22,000个助手对话人类演示进行微调。
oasst-sft-4-pythia-12b-epoch-3.5120亿这是Open-Assistant项目的第四次迭代英语监督微调(SFT)模型。它基于一个Pythia 12B模型,该模型在2023年3月25日之前通过https://open-assistant.io/人工反馈Web应用程序收集的助手对话人类演示进行了微调。



基础模型

DataLearner 官方微信

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码