XVERSE-Ent-A5.7B

模型定位与简介

XVERSE-Ent-A5.7B 属于 XVERSE（Shenzhen Yuanxiang/元象XVERSE）发布的 XVERSE-Ent 系列预训练模型，面向 Entertainment（娱乐内容）领域的文本生成与理解场景。该系列在娱乐领域的大规模高质量数据上训练与优化，并提供两款：XVERSE-Ent-A4.2B（中文）与 XVERSE-Ent-A5.7B（英文）。

架构与技术规格

该模型采用 Mixture-of-Experts（MoE）架构。官方描述其通过 Sparse Upcycling（稀疏升级）将通用领域的稠密骨干模型转换为 MoE，并配合多阶段训练策略完成能力恢复、语言增强与娱乐领域增强，以在提升领域能力的同时尽量保留通用能力。英文模型的训练配方在模型卡中标注为“Fine-grained Upcycling + Multi-stage Training”。

训练方面，官方在模型卡中说明该系列训练规模约为 ~1T tokens，并描述英文模型是将通用稠密骨干通过细粒度 upcycling 转为 MoE 后，再进行完整的多阶段训练流程。

核心能力与适用场景

模型面向娱乐内容生成与理解（如 fiction、conversation 等文本形态）。官方评测使用困惑度（Perplexity, PPL）在多类数据集上对比不同训练/架构设置下的效果，用于展示在娱乐相关文本上的语言建模改进情况。

评测与基准呈现（官方给出的 PPL 示例）

官方给出了多项 PPL 表格，覆盖 fiction / web 文本 / 对话等数据集，并对比了不同 upcycling 方式与训练阶段设置的结果；同时在文字描述中提及对通用能力（例如一般基准）影响较小，并给出“通用能力保留超过 98%”的表述（以模型卡为准）。

访问方式与许可

• 模型权重：通过 Hugging Face 模型仓库获取（Transformers 加载需 trust_remote_code）。
• 开源协议：模型卡说明代码遵循 Apache-2.0；模型权重需遵循其 Model License Agreement，并在模型卡中说明支持不受限制的商业使用（以许可文本为准）。

限制与免责声明（官方说明）

官方在模型卡中提示：模型可能产生不准确、有偏见或冒犯性内容，建议在部署前进行安全测试与针对性优化，并避免用于产生或传播有害信息等不当用途。