DBRX Instruct
DBRX Instruct is an AI model published by databricks, released on 2024-03-27, for 聊天大模型, with 1320.0B parameters, and 32K tokens context length, requiring about 264GB storage, under the Databricks Open Model License license.
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
DBRX Instruct是基于DBRX Base模型进行指令优化微调得到的一个大语言模型。它是由Databricks开源。包含了1320亿参数的混合专家大模型。共16个专家网络，每次推理有4个专家工作，激活360亿的参数。
该模型在各个评测结果上表现都很好，超过了另外两个著名的混合专家模型Mixtral-8*7B-MoE模型和马斯克开眼的Grok-1模型。前者是由MistralAI开源的著名的混合专家模型，也是此前开源大模型中表现最好的模型之一。
关于Mixtral-8*7B-MoE模型参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE
关于Grok-1模型参考： https://www.datalearner.com/ai-models/pretrained-models/Grok-1
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
