Inception Mercury 3发布:扩散式LLM跑到1068 tok/s,1M上下文剑指实时Agent
扩散式大模型这条路,被Inception又一次往前推了一步。10月19日,这家公司发布Mercury 3,自称“迄今最强的扩散式LLM”:上下文拉到100万token、在NVIDIA GPU上跑到1068 tok/s、价格首发直接半价。几句判断先说在前面:其一,Mercury 3的卖点不在“更会聊天”,而在“更快且够用”——它用并行去噪替代逐token自回归,把首包延迟和吞吐压下来,专门瞄准浏览器操作、互动教育、实时搜索、客服这类实时Agent场景;其二,1068 tok/s和“跑赢GPT-6 Luna、Claude Haiku 5.5”都是厂商自测,独立实测可能打折扣,别把发布PPT当实测报告;其三,“扩散路线可规模化”(比Mercury 1大40倍、智能3倍)仍是要被反复检验的叙事,质量与长程一致性是扩散LLM的老难题;其四,它是闭源、仅API可用、未开放权重,所以“最强”你没法自己拉下来复跑验,只能信它的接口和账单。
扩散式LLM到底是什么:把“逐字写”换成“整块改”
先补一个背景,否则后面的速度数字没处安放。主流大模型(GPT系、Claude系、千问、DeepSeek)走的是自回归路线:一个token一个token地从左到右生成,生成第N个必须等第N-1个,天然串行。扩散式LLM(dLLM)反过来,先给一整块“噪声文本”,再像图像扩散那样一步步去噪,把整段/整块文字“改”成通顺结果。好处是能并行——同一时刻处理很多位置,所以吞吐和首包延迟天然占优;代价是质量、长程逻辑一致性、可控性更难做,尤其长文和强约束任务。Mercury这条产品线从Mercury 1就开始押注这条路线,到Mercury 3把模型做大40倍、把上下文从约26万拉到100万,本质是想证明“扩散不仅快,也能够聪明”。
Mercury 3的数字:上下文、速度、价格
把发布页上的硬指标摊开看。上下文从约26万(260K)一口气扩到100万token,对要“盯一整本书/一整个代码库/一长串对话”的Agent很关键——长上下文能让模型少翻页、多记上下文。速度上,官方称在NVIDIA GPU上达1068 tok/s,并宣称在多项基准上优于GPT-6 Luna与Claude Haiku 5.5、速度快4–8倍;这个“快”对实时场景是命门:浏览器操作Agent每多等一秒,任务就可能超时或崩。价格上,列表价输入$0.20/M、输出$0.70/M,首发限时半价后输入约$0.10/M、输出$0.35/M,缓存输入低至$0.02–$0.01/M——注意多家报道提示这波半价没有明确结束日期,真要长期用,预算最好按列表价算。
| 维度 | Mercury 3 | 备注 |
|---|---|---|
| 模型类型 | 扩散式LLM(dLLM) | 并行去噪生成,非逐token自回归 |
| 上下文 | 100万token(上代约26万) | 扩约4倍 |
| 推理速度 | 1068 tok/s(NVIDIA GPU) | 厂商自测,4–8倍于对比模型 |
| 发布价(半价) | 输出$0.35/M、输入$0.10/M | 列表价输出$0.70/M、输入$0.20/M |
| 缓存输入 | 低至$0.02–$0.01/M | 提示缓存折扣 |
| 许可 | 闭源(Proprietary) | 仅API,未开放权重 |
| 可用渠道 | InceptionAPI、OpenRouter、Baseten、Vercel | 已达GA |
为什么是“实时Agent”:速度第一次比“聪明”更靠前
Mercury 3点名的四个场景——浏览器操作Agent、互动教育、实时搜索Agent、客服——都不是“写一篇文章”那种能慢慢等的应用,而是“边做边答、边答边改”的交互。这类场景里,用户感知的是“首包延迟”(第一个字/第一帧多快出来)和“持续吞吐”(后面跟不跟得上),而不是benchmark上的平均分。扩散式LLM的并行生成,恰好在这两项上占便宜:它能更早把第一块结果吐出来,也能在长对话里保持高速度。官方给出的一块证据是Mind2Web——50个实时网页导航任务,Mercury 3完成50%,且在相同token/步数下明显高于GPT-6.1-Sol。这个数字的读法要小心:它是厂商自测、且限定在“同token/步数”的公平条件下,不是说Mercury 3在一切导航任务上都碾压;但它确实说明,在“实时把网页操作走完”这件事上,扩散模型的快有了用武之地。
图:推理速度对比(Inception官方自测,NVIDIA GPU,tok/s)
Mercury 3 ██████████████████ 1068 tok/s
GPT-6 Luna ████ ~267 tok/s(约1/4)
Claude Haiku 5.5 ██ ~133 tok/s(约1/8)
说明:图示Mercury 3官方公布的推理速度(1068 tok/s,NVIDIA GPU上自测)与对比模型的相对关系;据官方称Mercury 3较GPT-6 Luna、Claude Haiku 5.5快4–8倍,故将二者近似映射为约267与133 tok/s。该速度为厂商自测,独立实测可能不同,仅作量级参考。
同期两件套:Voice与Decide
Inception同时端出Mercury Voice和Mercury Decide。Voice主打低延迟语音——官方称首token低于170ms,方向是“说话别卡顿”的实时语音交互;Decide则是高吞吐的分类/校准概率接口,给需要“在大量候选里做概率化决策”的业务(比如路由、审核、排序)用。这两件的意义在于,它们把Mercury 3的“快”拆成了两个具体卖点:一个给对话前端(语音),一个给决策后端(分类),让“实时”不只是口号,而是能接进具体链路的模块。
诚实边界
几句话把口径摆正。其一,跑分是厂商自测:1068 tok/s、“优于GPT-6 Luna/Claude Haiku 5.5”、Mind2Web 50%都是Inception自己披露的,独立实测(如ExplainX的claimed vs measured)可能给出不同数字,引用时务必标“厂商自测”。其二,对比对象GPT-6 Luna、Claude Haiku 5.5、GPT-6.1-Sol是厂商挑的速度优化型参照,不是同代全能力对标,别理解成“在所有维度碾压对手”。其三,“扩散路线可规模化”(比Mercury 1大40倍、智能3倍)是厂商宣称,扩散LLM的质量、长程一致性和可控性仍是研究课题,能否稳定复现要等第三方和开源社区的检验。其四,它是闭源、仅API可用、未开放权重——你没法把模型拉到本地复跑验证“最强”,只能信它的接口、SLA和账单;价格半价活动多家报道称无明确结束日期,长期预算应按列表价($0.20/$0.70)计。其五,本文只做技术发布观察与口径澄清,不给任何一方选型或采购建议,是否采用由读者自行判断。
这意味着什么:扩散路线从“快”走向“能用”
把这次发布放回大模型竞争里看。过去两年,扩散式LLM总被贴着“快但不够聪明”的标签,更多出现在研究演示里。Mercury 3想做的事,是把这条路线从“快”推到“够用到能接生产”:100万上下文让它接得住长任务,1068 tok/s让它撑得起实时交互,半价定价让它先在成本上不那么劝退。它瞄准的也不是“和GPT/Claude比谁更会考试”,而是“在实时Agent这件具体事上,用速度换体验”。对行业来说,这至少证明了一件事:当自回归路线在质量和规模上内卷到天花板,另一条技术路线(并行去噪)正被认真当成“可规模化”的候选来打磨。但提醒一句,所有“可规模化”的结论,都还建立在厂商自测之上——真正能不能成,要看接下来开源社区、第三方基准和真实业务里的复现。