Google 开源 ML Drift：LiteRT 的下一代 GPU 推理引擎，张量虚拟化+内存复用打通移动/浏览器/桌面

先说几个判断：

第一，ML Drift 解决的是“边缘 GPU 碎片化”这个最现实的问题。同一份模型要在 Mali、Adreno、Metal、WebGPU 上跑，没有一个统一引擎，就得处处改代码、处处调优。

第二，张量虚拟化 + 内存复用，是它真正的技术看点。把逻辑张量和物理显存解耦、跨层复用缓冲，边缘设备上跑大模型最缺的就是这点内存账。

第三，WebGPU 意味着 GPU 推理能进浏览器、不用装原生。本地 AI 的边界，从“装了 App”扩到了“打开网页”。

第四，Apache 2.0 + 进 LiteRT 体系，是 Google 抢端侧运行时层的一步。AI 往边缘走，谁掌握运行时，谁就掌握入口。

下面展开。

一、事件描述

Google 在 10 月上旬（10-08/09）把边缘 GPU 推理引擎 ML Drift 以开源形式推向开发者视野，它归属 Google AI Edge 的 LiteRT 体系，以 Apache 2.0 许可证托管在 LiteRT 的 GitHub 仓库。ML Drift 是一套面向移动、浏览器、桌面本地 AI 的 GPU 推理引擎，支持 OpenCL、OpenGL ES、Metal、WebGPU 多后端，并用“张量虚拟化 + 内存复用”来压低边缘设备的显存与延迟开销。

先把关键参数用一张表理清：

表：ML Drift 发布要点（来源：Google AI Edge LiteRT 官方概览、腾讯云开发者/知乎/CSDN 2026 报道；张量虚拟化+内存复用取自消息主体）

需要标清：ML Drift 此前已在 LiteRT 文档中作为 GPU 加速引擎被提及（2026 年初起），10-08/09 是它作为开源引擎被明确发布/推到开发者视野的节点；官方 LiteRT 概览本次抓取超时，张量虚拟化与内存复用等设计细节以消息主体给出为准，具体版本与变更以 GitHub 仓库为准。

二、碎片化：边缘 GPU 的真实痛点

端侧 AI 最难的不一定是模型，而是硬件太碎。安卓阵营里 GPU 有 Mali、Adreno、PowerVR，驱动和特性各不一样；iOS 走 Metal；浏览器里能用的 GPU 接口是 WebGPU。过去想让一个模型在这些地方都跑顺，得为每种后端单独写、单独调，工作量随设备数线性膨胀。

ML Drift 的打法，是把这一堆后端收进一个推理引擎：上层同一套执行逻辑，下层按需映射到 OpenCL、OpenGL ES、Metal 或 WebGPU。报道里提到，在安卓上 LiteRT 会自动优先挑可用资源拿峰值性能，同时回退到 OpenGL 以覆盖更老的设备。对开发者来说，这意味着“写一次、多处跑”，而不是为每个 GPU 重做一遍。

三、张量虚拟化 + 内存复用：边缘跑大模型的关键

这才是 ML Drift 真正的工程内核。边缘设备（手机、浏览器标签页、嵌入式板）显存是按 GB 算的，而大模型动辄要连续的大块张量——内存不够就直接 OOM，推理根本起不来。

• 张量虚拟化：逻辑张量和物理显存解耦，运行时动态地把逻辑张量映射到物理缓冲。好处是分配更灵活、碎片更少，一份显存能被更聪明地调度。
• 内存复用：相邻算子的输出缓冲在生命周期不重叠时直接复用，而不是每个算子都新开一块显存。峰值显存和拷贝次数都降下来，延迟随之改善。

这两点叠起来，是“能不能在设备上跑大模型”的分水岭：LiteRT 体系里已经有面向大语言模型的 LiteRT-LM，GPU 这一层要撑住它，靠的正是把显存账算到极致。对端侧 LLM、长上下文、多模态推理，内存复用往往比单纯堆算力更关键。

四、WebGPU：把本地推理带进浏览器

WebGPU 是浏览器暴露 GPU 能力的现代接口。ML Drift 支持它，意味着GPU 推理可以直接发生在网页标签页里，不用装任何原生程序。数据留在浏览器、留在本地，不用上传到云端——对隐私敏感的场景（本地文档问答、端侧处理照片）和“打开网页就能用”的零安装体验，价值很大。

这一点把本地 AI 的边界往前推了一格：以前说“本地跑”默认得有 App 或桌面程序，现在一个支持 WebGPU 的浏览器就够了。当然，浏览器内核版本和 WebGPU 支持度仍会决定实际可用性。

五、进 LiteRT 体系：Google 的端侧栈

LiteRT 由 TensorFlow Lite 演进而来，是 Google 的端侧推理运行时：有面向大语言模型的 LiteRT-LM，有做视觉/音频任务的 MediaPipe，还有抽象掉厂商 NPU SDK 的统一部署流程。ML Drift 是这套体系里的“GPU 肌肉”。

把这几块拼起来，就是一套完整的端侧 AI 栈：模型进来、GPU/NPU 跑起来、任务编排好，全在设备上完成。战略上，AI 越往边缘走，运行时这一层越值钱——它夹在模型和硬件之间，谁掌握它，谁就握住了端侧 AI 的入口。Apache 2.0 的宽松授权，让 ML Drift 能被嵌进商业产品，甚至包括走 Metal 的苹果设备，不必被许可证挡在门外。

六、几个还没讲透的边界

回到开头，这引擎看着顺，但有几点要心里有数：

• 张量虚拟化 + 内存复用的具体实现，官方概览本次未直接抓取，细节以消息主体与 GitHub 仓库为准，未逐条独立核对。
• ML Drift 并非从零冒出：它已在 LiteRT 中承担 GPU 加速一段时间，10-08/09 是明确开源/发布节点，实际版本与性能基准要看仓库提交。
• 碎片化没被完全消灭：多后端统一了接口，但底层驱动质量仍由 OEM 决定，老旧 GPU 上的表现会有落差。
• WebGPU 依赖浏览器：不同内核、不同版本的 WebGPU 支持度不一，网页端推理的可用性随环境波动。

七、结语

Google 在 10 月初把边缘 GPU 推理引擎 ML Drift 以开源形式（LiteRT 体系、Apache 2.0）推向开发者：支持 OpenCL、OpenGL ES、Metal、WebGPU 多后端，用张量虚拟化与内存复用压低边缘显存与延迟，面向移动、浏览器、桌面的本地 AI。

真正值得记的，不是“又开源了个推理引擎”，而是它把三件事同时做对了：用统一引擎收住碎片化边缘 GPU，用内存复用让大模型能塞进设备，用 WebGPU 把本地推理带进浏览器。当 AI 持续往边缘迁移，运行时这一层必然被争抢——ML Drift，是 Google 落下的那颗子。至于它在真实机型上的省电与提速到底如何，要看开源后的实测与社区基准。