XVERSE-Ent-A4.2B
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
XVERSE-Ent-A4.2B 属于 XVERSE（Shenzhen Yuanxiang/元象XVERSE）发布的 XVERSE-Ent 系列预训练模型，面向 Entertainment（娱乐内容）领域的文本生成与理解场景。该系列在娱乐领域的大规模高质量数据上进行训练与优化，并提供中英双语两款：XVERSE-Ent-A4.2B（中文）与 XVERSE-Ent-A5.7B（英文）。
该模型采用 Mixture-of-Experts（MoE）架构，并在“Sparse Upcycling（稀疏升级）”框架下，将稠密模型转换为大规模 MoE，以在不从零训练的情况下提升总容量并控制训练成本。XVERSE-Ent-A4.2B 的训练采用多阶段训练流程（S0 能力重建、S1 语言增强、S2 领域增强），其中 S2 使用通用数据与娱乐领域数据混合，以在增强领域能力的同时尽量保留通用能力。
| 项目 | 取值 |
|---|---|
| 语言 | 中文 |
| 总参数量（Total Parameters） | 25B |
| 激活参数量（Activated Parameters） | 4.2B |
| 层数（Layers） | 28 |
| 隐藏维度（Hidden Size） | 2560 |
| 注意力头数（Attention Heads） | 32 |
| 共享专家数（Shared Experts） | 2 |
| 非共享专家数（Non-Shared Experts） | 64 |
| 每 token 选择专家数（Selected Experts per Token） | 8 |
| 词表大小（Vocab Size） | 100K |
| 上下文长度（Context Length） | 8K |
训练方面，官方在模型卡中说明该系列训练规模约为 ~1T tokens，并指出中文模型是在通用领域骨干模型 XVERSE-MoE-A4.2B 基础上进行 S2 领域增强训练得到。
模型定位于娱乐内容相关的生成与理解任务（例如小说/故事文本、对话文本等）。官方在评测部分给出了以困惑度（Perplexity, PPL）为指标的多数据集对比，用于衡量在 fiction、conversation、web 文本上的语言建模表现。
官方使用 PPL（越低越好）对比了通用领域模型与娱乐领域增强后的表现，并给出多项数据集上的数值结果；同时描述在一般基准（如 MMLU、数学、代码）上通用能力退化较小，并给出“通用能力保留超过 98%”的表述（以模型卡为准）。
官方在模型卡中提示：模型可能产生不准确、有偏见或冒犯性内容，建议在部署前进行安全测试与针对性优化，并避免用于产生或传播有害信息等不当用途。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
