Spark-X2.5-4B

发布背景与定位

Spark-X2.5-4B 是科大讯飞全资子公司词元星火（Hugging Face / GitHub 组织名 XHToken，对外亦称 SparkLLM）于 2026 年 9 月 1 日开源的端侧通用大模型，与同批发布的 Spark-X2.5-1.7B 构成 Spark-X2.5 系列。官方将其定位为「面向端侧的通用智能体模型」，强调在 4B 这一可本地部署的参数量级上覆盖对话、写作、翻译、推理、编程、工具调用与智能体工作流等日常任务。模型在华为昇腾集群上完成训练，官方称训练与推理链路基于全国产算力平台。

架构与技术规格

Spark-X2.5-4B 采用混合注意力架构：每 3 层滑动窗口注意力（SWA）搭配 1 层全注意力，以此在长上下文下压低计算开销与 KV Cache 占用。公开的 config.json 显示模型共 36 层、隐藏层维度 2560、中间层 10240、16 个注意力头与 4 个 KV 头（GQA）、head_dim 256，滑动窗口大小 512，全注意力层与滑动窗口层使用不同的 RoPE 参数（partial_rotary_factor 分别为 0.25 与 1.0），词嵌入与输出层共享权重。Hugging Face 权重为 BF16 格式，参数量 4,112,079,360（约 41.1 亿），文件体积约 7.7GB。原生上下文窗口 1,048,576 tokens（1M），官方称这是首批原生支持百万级上下文的端侧开源模型，并宣称支持 200 种以上语言。

训练方法

预训练语料约 20 万亿 tokens，覆盖网页、图书、学术出版物、代码与百科材料，官方针对数学、逻辑、代码等高价值领域做了数据配比实验。长上下文能力通过一个独立的训练阶段获得，该阶段使用数千亿 tokens，序列长度扩展至 1M。后训练先做监督微调建立指令跟随与结构化生成能力，再在语言理解、推理、编程、工具增强的智能体行为与指令跟随等多个能力域上做大规模强化学习，得到一组领域专精的教师策略，最后通过官方称为 MOPD 的方法蒸馏合并为单一可部署模型。

官方评测成绩

官方模型卡将 Spark-X2.5-4B 与 Qwen3.5-9B/4B/2B、Gemma4-12B/E4B/E2B 等同量级端侧模型对比，全部评测在思考模式下进行。智能体方向：BFCL-V4 65.1、τ²-bench 75.1、τ³-bench 30.4、MCP-Atlas 54.6、MCPMark 14.2、Workspace Bench 31.2、VitaBench 2.0 25.2、BrowseComp 40.9。代码方向：SWE-Bench Pro 44.4、SWE-Bench Verified 41.6、SWE-Bench Multilingual 53.3、SciCode 34.7。数学方向：Gaokao 2026 得 133.4（五套 2026 年高考数学试卷，每套满分 150）、AIME 2026 90.7、HMMT Feb 2026 81.2、IMO-AnswerBench 74.2。通用与知识方向：IFEval 93.0、IFBench 75.0、AA-LCR 56.3、HLE 12.3、GPQA 67.4。官方口径下，模型在 τ³-bench、MCP-Atlas、MCPMark、Workspace Bench、VitaBench 2.0、BrowseComp、SWE-Bench Pro、SWE-Bench Multilingual、AIME 2026、HMMT Feb 2026、IMO-AnswerBench、IFBench 等项领先全部对比模型；而在 SWE-Bench Verified、GPQA、HLE、AA-LCR、τ²-bench、Gaokao 2026、SciCode、IFEval 等项仍落后于参数量更大的 Qwen3.5-9B 或 Gemma4-12B。以上均为厂商自测口径，独立第三方复测结果待跟进。

部署与访问方式

权重、代码与部署文档已在 Hugging Face 与 GitHub 开放，同时上架 ModelScope、Modelers、Ollama、SCNet、AtomGit 等平台。官方提供 vLLM、SGLang、llama.cpp、MLX 的部署示例，并支持 Ollama 与 LM Studio 快速运行，微调推荐使用 LLaMA-Factory；硬件方面覆盖 NVIDIA、华为昇腾、海光、后摩智能等平台。模型深度适配 Codex、Claude Code、OpenClaw、Hermes 等智能体框架。思考模式在 chat template 中默认开启，可通过 chat_template_kwargs: {"enable_thinking": false} 关闭；官方推荐采样参数为 temperature=1.0、top_p=0.95、top_k=-1。API 已在讯飞星辰 MaaS 平台上线，官方公告为限时免费，未公布长期定价。

许可协议

Spark-X2.5 系列采用 Apache 2.0 许可，权重与代码均可免费商用。