DBRX Instruct
DBRX Instruct
模型参数
1320.0亿
上下文长度
32K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
32K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2024-03-27
模型文件大小
264GB
MoE架构
否
总参数 / 激活参数
1320.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
databricks
查看发布机构详情 模型解读
DBRX Instruct是基于DBRX Base模型进行指令优化微调得到的一个大语言模型。它是由Databricks开源。包含了1320亿参数的混合专家大模型。共16个专家网络，每次推理有4个专家工作，激活360亿的参数。
该模型在各个评测结果上表现都很好，超过了另外两个著名的混合专家模型Mixtral-8*7B-MoE模型和马斯克开眼的Grok-1模型。前者是由MistralAI开源的著名的混合专家模型，也是此前开源大模型中表现最好的模型之一。
关于Mixtral-8*7B-MoE模型参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE
关于Grok-1模型参考： https://www.datalearner.com/ai-models/pretrained-models/Grok-1
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
