Google DeepMind 发布 EmbeddingGemma:面向端侧的多语言开源向量模型(308M),小体量也能打

Google DeepMind 推出的开源多语言文本向量模型,主打端侧/离线场景,约 308M 参数,量化后可在 小于200MB内存 下运行,支持 RAG / 语义检索 / 分类 / 聚类 等。


[TOC]

EmbeddingGemma模型特点

EmbeddingGemma 是基于 Gemma 3 架构打造的全新开源多语言向量模型,专为移动端/本地离线应用而生。它以约 3.08亿参数的紧凑体量,在 RAG、语义搜索、分类、聚类等任务上提供高质量表征,同时将隐私与可用性拉满:无需联网即可在本地生成向量。

该模型基于100多种语言训练,这意味着支持大多数语种。最高输入为2K。

其核心亮点总结如下:

  1. 最佳小体量表现(<500M 开源组别)

    MTEB 多语言基准上,EmbeddingGemma 是 <500M 参数的开源文本向量模型中最高排名者;同时,其效果接近几乎两倍体量的热门模型,性价比突出。

  2. 端侧优先与离线可用

    量化后 内存占用 <200MB,并提供 2K token 上下文,适配手机、笔电与桌面设备;与 Gemma 3n 组合,可构建完整的移动端 RAG流程,实现本地检索、本地生成与隐私优先的数据处理。

  3. 灵活的向量维度(MRL)

    原生 768 维输出,支持 MRL(Matryoshka Representation Learning) 无重编码截断至 512/256/128 维,按需在存储/吞吐/效果间动态权衡。

  4. 工程效率与推理速度

    EdgeTPU 上,256-token 输入的嵌入生成可达 <15ms 级别的时延;并通过 QAT(量化感知训练) 将运行内存压缩到 <200MB,实现实时体验极低资源并存。

  5. 即插即用的生态整合

    官方已对接 sentence-transformers、llama.cpp、MLX、Ollama、LiteRT、transformers.js、LMStudio、Weaviate、Cloudflare、LlamaIndex、LangChain 等常用框架与向量/检索堆栈,开发者零门槛接入

EmbeddingGemma的评测结果非常优秀

官方展示了其在 MTEB 多语言 v2 / 英文 v2 上相对同体量热门模型的优势:在检索、分类、聚类等多项任务下均具备同级最强的综合表现,是端侧优先场景的开源首选。想看持续更新的分数与位置,可直接前往 MTEB Leaderboard 查询最新名次。

EmbeddingGemma模型与Qwen3-Embedding-0.6B对比

除了Google发布的EmbeddingGemma外,几个月前,阿里也发布了一个端侧的向量大模型,即Qwen3-Embedding-0.6B。二者参数相差2倍,不过都是定位移动端可用的。

我们简单对比如下:

维度 EmbeddingGemma (≈308M) Qwen3-Embedding-0.6B (≈600M)
参数规模 308M 0.6B
上下文长度 2K 32K
向量维度 / MRL 768,可截断 512/256/128 1024,支持 MRL 截断
量化后内存占用(端侧) <200MB RAM(量化/QAT) 数百 MB 级(取决于量化与实现)
推理延迟(参考) 端侧/NPU/EdgeTPU 可达低毫秒级 需较强本地算力,端侧延迟依硬件差异较大
生态与端侧工具 已适配多款端侧与桌面推理/向量库工具 通用 PyTorch/Transformers 生态良好,端侧需裁剪/量化
MTEB Multilingual v2(Mean) 61.15 64.33
MTEB English v2(Mean) 68.36 70.70
MTEB-Code v1(Mean) 68.76 75.41

可以看到,Qwen3-Embedding-0.6B的参数量大约是2倍,性能与略高于Google的GemmaEmbedding。如果追求极致的速度,那么GemmaEmbedding还是有优势的。

GemmaEmbedding适用人群与选型建议

  • 端侧/离线优先:移动端应用、隐私敏感检索、个人知识库搜索、边缘设备实时交互。
  • 工程效率:希望在低资源环境中跑高质量多语言嵌入,并按需降维提速
  • 规模化服务端:若不受端侧约束、追求最高极致质量,可考虑 Gemini Embedding(API)

关于GemmaEmbedding模型的开源地址和更多信息参考:https://www.datalearner.com/ai-models/pretrained-models/embeddinggemma-300m

欢迎关注 DataLearner 官方微信,获得最新 AI 技术推送

DataLearner 官方微信二维码