DBRX Base
基础大模型DBRX Base
模型参数（Parameters）
1320.0
最高上下文长度（Context Length）
32K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
32K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2024-03-27
模型预文件大小
264GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
暂无公开的 API 定价信息。
DBRX Base模型在各大评测榜单的评分
当前尚无可展示的评测数据。
发布机构
databricks
查看发布机构详情
DBRX Base模型解读
DBRX Base是由Databricks开源的一个基于混合专家（Mixture of Experts, MoE）模型的大语言模型。包含了1320亿参数，由16个专家网络组成，每次推理由4个专家工作，共360有参数参与推理。
DBRX Base是在12万亿tokens数据集上进行预训练得到的一个预训练大语言模型，基于该模型Databricks还做了一个指令优化的大语言模型，即DBRX Instruct。它推理速度是Llama2-70B的2倍，但是评测结果非常好。
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
