DeepSeek-V3-Base

DeepSeek AI开源的大语言模型，是其开源的第三代大语言模型。DeepSeek V3是一个混合专家架构的模型（Mixture-of-Experts），总参数量6810亿，每次推理会激活其中370亿的参数。DeepSeek V3模型在14.8万亿tokens上完成训练，花费了278.8万个H800小时训练完成，其各项评测结果都十分优异。