DBRX Instruct - DBRX Instruct
模型详细情况和参数
DBRX Instruct
- 模型全称
- DBRX Instruct
- 模型简称
- DBRX Instruct
- 模型类型
- 指令优化大模型
- 发布日期
- 2024-03-27
- 预训练文件大小
- 264GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 32K
- 模型参数数量（亿）
- 1320.0
- 模型代码开源协议
- Databricks Open Model License
- 预训练结果开源商用情况
- Databricks Open Model License - 免费商用授权
- 模型GitHub链接
- https://github.com/databricks/dbrx
- 模型HuggingFace链接
- https://huggingface.co/databricks/dbrx-instruct
- 基础模型
- 无基础模型
- 发布机构
DBRX Instruct 简介
DBRX Instruct是基于DBRX Base模型进行指令优化微调得到的一个大语言模型。它是由Databricks开源。包含了1320亿参数的混合专家大模型。共16个专家网络，每次推理有4个专家工作，激活360亿的参数。
该模型在各个评测结果上表现都很好，超过了另外两个著名的混合专家模型Mixtral-8*7B-MoE模型和马斯克开眼的Grok-1模型。前者是由MistralAI开源的著名的混合专家模型，也是此前开源大模型中表现最好的模型之一。
关于Mixtral-8*7B-MoE模型参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE
关于Grok-1模型参考： https://www.datalearner.com/ai-models/pretrained-models/Grok-1
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
DBRX Instruct所属的领域
DBRX Instruct相关的任务
