📄

Google EmbeddingGemma 2 开源:740M 多模态嵌入、768 维、8K 上下文、Apache 2.0,端侧私有 RAG

2026-10-08 09:46 👁 2 阅读

🏷️ 标签

https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/

先说几个判断:

第一,EmbeddingGemma 2 不是“又一个更大的嵌入模型”,而是把文本、代码、图像、音频、视频塞进同一个向量空间的多模态嵌入模型。对做检索、做 RAG 的人来说,统一空间意味着你不必为每种模态各维护一套嵌入管线,这是它最实在的价值。

第二,“740M 但可调到 270M”要拆开看:它不是靠量化压缩把参数缩水,而是模块化地让你只加载需要的编码器——纯文本任务只用 270M 的文本编码器,要全模态才把视觉 170M、音频 300M 都加上,凑成 740M。

第三,768 维不是死值。它用了 Matryoshka 表示学习,可以把向量从 768 截断到 512、256、128。这对端侧存储和检索延迟是直接利好——维度砍到 1/6,索引体积也跟着砍。

第四,Apache 2.0 加“完全离线、端侧运行”,让它天然适合隐私优先和私有 RAG 场景。嵌入模型本就要先把数据送进模型,能不能在本地跑、商用要不要授权,往往比那零点几的百分比更决定一个团队用不用它。

下面把这些点展开说一说。

一、事件描述

Google DeepMind 在 2026 年 10 月 6 日发布 EmbeddingGemma 2,一款基于 Gemma 4 架构的开源轻量多模态嵌入模型,模型卡与权重已在 Hugging Face(google/embeddinggemma-2)与官方模型页上线,并接入 Ollama 生态。

事项 官方已确认内容 口径说明
发布与状态 2026-10-06 发布,开源 官方博客
架构 基于 Gemma 4 架构 官方
参数量 总参 740M;纯文本最小 270M 官方
许可证 Apache 2.0(商用宽松) 官方
模态 文本、代码、图像、音频、视频统一空间 官方
向量维度 默认 768,可截断至 512/256/128 官方(MRL)
上下文 8K token(一代的 4 倍) 官方
生态 已上 Ollama 官方

表:EmbeddingGemma 2 发布要点(依据 Google 官方博客整理)

二、740M 但可调到 270M:模块化编码器

EmbeddingGemma 2 的总参数量是 740M,但这数字不是“要么全拿要么没有”。官方采用模块化设计:纯文本工作负载最少只需 270M 参数的文本编码器;若要做全模态,再按需挂上可选的视觉编码器(170M)与音频编码器(300M),270 + 170 + 300 = 740M。

模块 参数 是否可选
文本编码器 270M 必选(基础)
视觉编码器 170M 可选
音频编码器 300M 可选
全模态合计 740M 三者叠加

表:EmbeddingGemma 2 的参数构成(官方博客)

这里的关键是“按需加载”。一个只需要文本嵌入的私有检索服务,可以只部署 270M 的文本部分,显存与体积都小得多;只有当业务真要处理图像、音频、视频时,才把另两个编码器加回来。这和“用一个固定 740M 大模型硬扛所有任务”是两回事,也是它敢说自己“轻量”的底气。

三、统一五模态的 768 维空间

EmbeddingGemma 2 把文本、代码、图像、音频、视频统一进同一个共享嵌入空间——官方表述是“超越文本,统一代码、图像、视频、音频”。对使用者来说,这意味着一段文字、一张图、一段录音、一个视频片段,都能被映射到同一套向量坐标里,彼此可以直接算相似度。

默认输出是 768 维。但它用了 Matryoshka 表示学习(MRL),开发者可以把向量动态截断到 512、256 或 128 维。截断后虽会损失一点精度,却能在检索规模大、延迟敏感的场景里大幅压缩存储与计算。等于官方给了你一把“精度换体积”的旋钮,而不是把维度焊死在 768。

四、8K 上下文:一代的 4 倍

EmbeddingGemma 2 的上下文窗口是 8K token,官方明确这是 EmbeddingGemma 1 的 4 倍。对嵌入模型而言,上下文长度决定了“一次能吞下多长的文档块再生成向量”——8K 意味着你可以把更完整的章节、更长的代码文件、更长的音视频转写文本整段送进去,而不必切得太碎。

不过要提醒一句:长上下文嵌入和长上下文生成是两件事。嵌入模型关心的,是整段输入能否被压缩成一个稳定的向量;8K 的价值在于减少切分带来的语义断裂,而不是像聊天模型那样去“续写”。

五、Apache 2.0 与端侧/私有 RAG

许可证是这次最容易忽略、却又最影响落地的点。EmbeddingGemma 2 基于 Gemma 4 架构,以“商用宽松的 Apache 2.0 许可证”发布。Apache 2.0 默认允许商业使用、修改与再分发,只需保留版权与注明修改,是大模型商用里最省心的许可证之一。

更关键的是它的运行形态:官方把它定位为“端侧多模态嵌入里能力最强的模型之一”,强调为隐私优先场景优化,可以完全离线工作,并支持端侧 RAG 流水线。嵌入模型的工作方式,本就是把原始数据先送进模型算出向量——能用本地模型、能完全离线,就意味着敏感文档不必离开你的机器,这对医疗、法务、企业内部知识库这类强隐私诉求的场景,往往比公开 API 更合适。

六、生态:已经上了 Ollama

官方在“用你喜欢的开发工具”一节明确列出 Ollama 支持,模型库地址为 ollama.com/library/embeddinggemma-2。这意味着它不只是放出权重让人自己搭环境,而是直接进了主流本地推理工具链,拉下来就能用。

把参数与生态门槛画成条形更直观:

图:EmbeddingGemma 2 参数构成与部署形态示意(数据来源:Google 官方博客;条形按参数量相对量级映射,生态项为示意)

文本编码器 270M    ████████                      270M(必选)
视觉编码器 170M    █████                         170M(可选)
音频编码器 300M    ████████                      300M(可选)
全模态合计 740M    ██████████████████████████    740M
Ollama 一键拉取    ████                          生态已接入

说明:上图条形按参数量真实数值线性缩放(视觉/音频/文本三者叠加为 740M)。要点是部署粒度可控——纯文本场景只用 270M;同时官方已把模型接入 Ollama,本地推理的入手成本很低。768 维经 MRL 可截断到 128 维,进一步压低索引体积。

七、适合谁,边界在哪

EmbeddingGemma 2 的甜区很清楚:需要把多种模态统一检索的端侧或私有 RAG、对数据不出域有硬要求的场景、以及想在本地低成本跑嵌入的开发者。Gemma 4 架构打底、Apache 2.0 商用友好,让它在“能不能合法且便宜地用”上没短板。

但边界也要说清:它是嵌入模型,职责是把内容变成向量,不负责生成回答;端侧 RAG 的完整链路还要搭配一个生成模型与向量数据库。另外,“统一空间”不自动等于“跨模态检索质量一样好”——五种模态塞进同一个 768 维空间,不同模态间的相似度标定、长尾质量,最终要拿你自己的数据去实测,不能只看“支持五模态”这句话。

八、结语

Google DeepMind 在 2026 年 10 月 6 日发布 EmbeddingGemma 2:基于 Gemma 4 架构的开源轻量多模态嵌入模型,总参 740M,纯文本最小 270M(视觉 170M、音频 300M 可选叠加),Apache 2.0 商用宽松许可;统一文本、代码、图像、音频、视频于同一 768 维空间,借助 Matryoshka 表示学习可截断至 512/256/128 维,上下文窗口 8K(一代的 4 倍),已接入 Ollama,定位为端侧、隐私优先、可完全离线的私有 RAG 嵌入方案。

值得冷静看待的有几处:一是 740M 与 270M 之差来自模块化编码器的按需加载,不是量化压缩;二是 768 维是可截断的“默认上限”,精度与体积要自己权衡;三是它只做嵌入、不做生成,完整 RAG 还需配生成模型与向量库;四是“五模态统一空间”的质量需以自有数据实测,不能仅凭支持列表下结论。对想做私有、端侧、多模态检索的人来说,这是目前开源里把“轻量、多模态、可商用、能离线”四件事凑齐的少数选择之一。