Qwen3-Embedding-4B是阿里开源的40亿参数规模的向量大模型，支持100+多种语言。它是Qwen3 Embedding系列开源模型的一员，该系列基于Qwen3基础模型开发，专为文本嵌入、检索和排序任务而设计。

Qwen3-Embedding-4B模型同样继承了其基础模型的多语言理解与长文本处理能力。该模型拥有40亿参数，支持32k的上下文长度，其嵌入维度为2560，并允许用户自定义输出维度。

核心特性

模型架构与训练

Qwen3-Embedding-4B基于Qwen3基础模型，采用双编码器（dual-encoder）架构设计，并通过LoRA进行微调，以保留和增强基础模型的文本理解能力。该模型通过处理单个文本段落作为输入，并利用最后一个[EOS]标记对应的隐藏状态向量来提取语义表示。

其训练过程遵循一个三阶段范式：首先是使用大量弱监督数据进行对比预训练；第二阶段使用高质量的标记数据进行监督训练；最后阶段则通过合并策略整合多个候选模型以提升整体性能。

性能表现

Qwen3-Embedding-4B在多个行业标准基准测试中取得了有竞争力的分数：

这些数据表明，Qwen3-Embedding-4B模型在多语言、英语和中文的各类嵌入任务中均表现稳健，为用户在性能和资源消耗之间提供了一个平衡的选择。

Qwen3-Embedding-4B Benchmark Details

Benchmark Results