加载中...
加载中...
DBRX Base
Data sourced primarily from official releases (GitHub, Hugging Face, papers), then benchmark leaderboards, then third-party evaluators. Learn about our data methodology
DBRX Base是由Databricks开源的一个基于混合专家(Mixture of Experts, MoE)模型的大语言模型。包含了1320亿参数,由16个专家网络组成,每次推理由4个专家工作,共360有参数参与推理。
DBRX Base是在12万亿tokens数据集上进行预训练得到的一个预训练大语言模型,基于该模型Databricks还做了一个指令优化的大语言模型,即DBRX Instruct。它推理速度是Llama2-70B的2倍,但是评测结果非常好。
欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送
