DB
模型参数
1320亿
上下文长度
32K
多语言支持
暂无数据
推理能力
暂无数据
DBRX Base 是由 databricks 发布的 AI 模型，发布时间为 2024-03-27，定位为 基础大模型，参数规模约为 1320亿，上下文长度为 32K，模型文件大小约 264GB，采用 Databricks Open Model License 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
DBRX Base
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
32K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2024-03-27
模型文件大小
264GB
MoE架构
否
总参数 / 激活参数
1320亿 / 不适用
知识截止
暂无数据
DBRX Base
开源和体验地址
DBRX Base
官方介绍与博客
DataLearnerAI博客
暂无
DBRX Base
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
DBRX Base
发布机构
databricks
查看发布机构详情 DBRX Base
模型解读
DBRX Base是由Databricks开源的一个基于混合专家（Mixture of Experts, MoE）模型的大语言模型。包含了1320亿参数，由16个专家网络组成，每次推理由4个专家工作，共360有参数参与推理。
DBRX Base是在12万亿tokens数据集上进行预训练得到的一个预训练大语言模型，基于该模型Databricks还做了一个指令优化的大语言模型，即DBRX Instruct。它推理速度是Llama2-70B的2倍，但是评测结果非常好。
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
