Qwen3-Embedding-8B

Qwen3-Embedding-8B是阿里开源的80亿参数规模的向量大模型，支持100+多种语言。这是Qwen3 Embedding系列开源模型中的一员，该系列基于Qwen3基础模型开发，专为文本嵌入、检索和排序任务而设计。

Qwen3-Embedding-8B模型继承了其基础模型的多语言理解、长文本理解和推理能力。该模型拥有80亿参数，上下文长度为32k，嵌入维度最高可达4096，并支持用户自定义从32到4096的输出维度。

核心特性

模型架构与训练

Qwen3-Embedding-8B基于Qwen3基础模型，采用双编码器（dual-encoder）架构设计，并通过LoRA进行微调，以保留和增强基础模型的文本理解能力。该模型通过处理单个文本段落作为输入，并利用最后一个[EOS]标记对应的隐藏状态向量来提取语义表示。

其训练过程遵循一个三阶段范式：首先是使用大量弱监督数据进行对比预训练；第二阶段使用高质量的标记数据进行监督训练；最后阶段则通过合并策略整合多个候选模型以提升整体性能。

性能表现

Qwen3-Embedding-8B在多个基准测试中取得了领先的成绩。