DB
发布时间: 2024-03-27更新于: 2024-03-27浏览量: 677
上下文长度
32K
DBRX Base is the pre-trained base version of DBRX, the open mixture-of-experts model Databricks released on March 27, 2024. It has 132B total and 36B active parameters across 16 experts, was trained on 12 trillion tokens with a 32K-token context, and is released under the Databricks Open Model License.
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
DBRX Base
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
32K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-03-27
模型文件大小
264GB
MoE架构
否
总参数 / 激活参数
1320亿 / 不适用
知识截止
暂无数据
DBRX Base
开源和体验地址
DBRX Base
官方介绍与博客
DataLearnerAI博客
暂无
DBRX Base
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
DBRX Base
发布机构
databricks
查看发布机构详情 DBRX Base
模型解读
DBRX Base是由Databricks开源的一个基于混合专家（Mixture of Experts, MoE）模型的大语言模型。包含了1320亿参数，由16个专家网络组成，每次推理由4个专家工作，共360有参数参与推理。
DBRX Base是在12万亿tokens数据集上进行预训练得到的一个预训练大语言模型，基于该模型Databricks还做了一个指令优化的大语言模型，即DBRX Instruct。它推理速度是Llama2-70B的2倍，但是评测结果非常好。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
