如何评估向量大模型在多种任务上的表现？Massive Text Embedding Benchmark（MTEB）评测介绍
332 views
MTEB是一个用于评估向量大模型向量化准确性的评测排行榜。它全称为Massive Text Embedding Benchmark，是一个旨在衡量文本嵌入模型在多种任务上表现的基准测试。
MTEB的简介
MTEB最初是由Niklas Muennighoff, Nouamane Tazi, Loic Magne, 和 Nils Reimers共同创建和发布的。这是一个开源项目，其代码和排行榜都托管在公共平台上，例如GitHub和Hugging Face，欢迎社区贡献。随着项目的发展，它已经成为一个由更广泛的社区驱动的成果，吸引了众多研究人员和机构的参与和贡献。
MTEB的特点
MTEB的特点在于其全面性，它涵盖了不同的任务类型、数据集和语言。具体来说，MTEB包含8个任务类别，覆盖58个数据集，并支持112种语言。这8个任务类别分别是：双语文本挖掘（Bitext Mining）、分类（Classification）、聚类（Clustering）、句子对分类（Pair Classification）、重排序（Reranking）、检索（Retrieval）、语义文本相似度（Semantic Textual Similarity）和摘要（Summarization）。
