Qwen3-Embedding-4B

Qwen3-Embedding-4B是阿里开源的40亿参数规模的向量大模型，支持100+多种语言。它是Qwen3 Embedding系列开源模型的一员，该系列基于Qwen3基础模型开发，专为文本嵌入、检索和排序任务而设计。

Qwen3-Embedding-4B模型同样继承了其基础模型的多语言理解与长文本处理能力。该模型拥有40亿参数，支持32k的上下文长度，其嵌入维度为2560，并允许用户自定义输出维度。

核心特性

功能表现: 该模型在多种下游应用中展现了良好的性能表现，为需要平衡效率与效果的场景提供了一个可靠的选项。
全面的灵活性: Qwen3 Embedding系列提供了从0.6B到8B的多种模型尺寸，Qwen3-Embedding-4B作为其中的中等规模选项，旨在平衡效率与效果。该模型同样支持用户自定义指令，以针对特定任务、语言或场景进行性能优化。测试表明，在多数检索场景中使用指令比不使用指令性能可提升1%到5%。
多语言能力: 得益于Qwen3基础模型的支持，该模型支持超过100种语言，包括多种编程语言，具备了较强的多语言、跨语言和代码检索能力。

模型架构与训练

Qwen3-Embedding-4B基于Qwen3基础模型，采用双编码器（dual-encoder）架构设计，并通过LoRA进行微调，以保留和增强基础模型的文本理解能力。该模型通过处理单个文本段落作为输入，并利用最后一个[EOS]标记对应的隐藏状态向量来提取语义表示。

其训练过程遵循一个三阶段范式：首先是使用大量弱监督数据进行对比预训练；第二阶段使用高质量的标记数据进行监督训练；最后阶段则通过合并策略整合多个候选模型以提升整体性能。

性能表现

Qwen3-Embedding-4B在多个行业标准基准测试中取得了有竞争力的分数：

在 MTEB (多语言) 排行榜上，平均得分为 69.45。
在 MTEB (英语 v2) 排行榜上，平均得分为 74.60。
在 C-MTEB (中文) 排行榜上，平均得分为 72.27。

这些数据表明，Qwen3-Embedding-4B模型在多语言、英语和中文的各类嵌入任务中均表现稳健，为用户在性能和资源消耗之间提供了一个平衡的选择。