BAAI General Embedding - Large - zh 简介

BAAI General Embedding是北京智源人工智能研究院开源的一系列embedding大模型，简称BGE，支持中文和英文的embedding。这里的BGE-Large-zh是BGE系列中参数规模最大的中文向量大模型，参数3.26亿。输入序列512，输出维度1024。

BGE-Large-zh模型是基于BERT-like架构，特别是在特殊的[CLS]标记的最后一层隐藏状态被训练来作为文本的嵌入表示。这种架构允许模型捕获文本中的丰富语义信息，并将其压缩到一个固定大小的向量中，这对于许多下游任务（如文本检索、分类和聚类）至关重要。

BGE-Large-zh模型的评测结果

 在C-MTEB（一项综合评估中文文本嵌入通用性的基准）上，BGE-Large-zh模型在各项任务中均表现出色，平均性能达到63.96%。特别是在检索、语义文本相似性（STS）、配对分类和重排序任务上，该模型显示了明显的优势，这证明了其优越的通用性和鲁棒性。超越了当前所有的中文向量大模型。

下图是BGE-Large-Zh和其它中文向量大模型在C-MTEB上的评测结果。所有的得分均为最高！

BGE-Large-zh模型训练的数据集

BGE-Large-zh模型使用C-MTP（Chinese Massive Text Pairs）作为训练数据，该数据集包括100M（1亿）文本对。C-MTP综合了标注数据和未标注数据，来自于多种来源，如Wudao语料库、科学文献、XLSUM-Zh、Wiki-Atomic-Edit、AmazonReviews-Zh等，确保了数据的大规模、多样性和质量。

BGE系列模型在论文中也成为C-TEM系列模型，但BGE更为著名。C-TEM全称是Chinese Text Embedding Models。

BGE-Large-zh模型开源情况

效果很好，重要的BGE-Large-zh是免费商用授权！