XVERSE-Ent-A5.7B
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
XVERSE-Ent-A5.7B 属于 XVERSE（Shenzhen Yuanxiang/元象XVERSE）发布的 XVERSE-Ent 系列预训练模型，面向 Entertainment（娱乐内容）领域的文本生成与理解场景。该系列在娱乐领域的大规模高质量数据上训练与优化，并提供两款：XVERSE-Ent-A4.2B（中文）与 XVERSE-Ent-A5.7B（英文）。
该模型采用 Mixture-of-Experts（MoE）架构。官方描述其通过 Sparse Upcycling（稀疏升级）将通用领域的稠密骨干模型转换为 MoE，并配合多阶段训练策略完成能力恢复、语言增强与娱乐领域增强，以在提升领域能力的同时尽量保留通用能力。英文模型的训练配方在模型卡中标注为“Fine-grained Upcycling + Multi-stage Training”。
| 项目 | 取值 |
|---|---|
| 语言 | 英文 |
| 总参数量（Total Parameters） | 36B |
| 激活参数量（Activated Parameters） | 5.7B |
| 层数（Layers） | 32 |
| 隐藏维度（Hidden Size） | 3072 |
| 注意力头数（Attention Heads） | 32 |
| 共享专家数（Shared Experts） | 2 |
| 非共享专家数（Non-Shared Experts） | 64 |
| 每 token 选择专家数（Selected Experts per Token） | 8 |
| 词表大小（Vocab Size） | 128K |
| 上下文长度（Context Length） | 8K |
训练方面，官方在模型卡中说明该系列训练规模约为 ~1T tokens，并描述英文模型是将通用稠密骨干通过细粒度 upcycling 转为 MoE 后，再进行完整的多阶段训练流程。
模型面向娱乐内容生成与理解（如 fiction、conversation 等文本形态）。官方评测使用困惑度（Perplexity, PPL）在多类数据集上对比不同训练/架构设置下的效果，用于展示在娱乐相关文本上的语言建模改进情况。
官方给出了多项 PPL 表格，覆盖 fiction / web 文本 / 对话等数据集，并对比了不同 upcycling 方式与训练阶段设置的结果；同时在文字描述中提及对通用能力（例如一般基准）影响较小，并给出“通用能力保留超过 98%”的表述（以模型卡为准）。
官方在模型卡中提示：模型可能产生不准确、有偏见或冒犯性内容，建议在部署前进行安全测试与针对性优化，并避免用于产生或传播有害信息等不当用途。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
