DeepSeek开源DeepInfer推理框架：支撑V4.1-Flash，双后端Blackwell与昇腾950

DeepSeek开源DeepInfer推理框架：支撑V4.1-Flash，双后端Blackwell与昇腾950

大模型开源，DeepSeek又往前拱了一步——但这一步的边界，得先说清楚。DeepSeek在10月20日把内部生产推理框架DeepInfer全面开源（Apache2.0，仓库deepseek-ai/DeepInfer），定位是支撑V4.1-Flash系列的底层推理引擎，同时兼容英伟达Blackwell（SM100）与华为昇腾950两类后端。几句判断先放前面：其一，开源的是“离线/批量推理”这条线，不是在线服务——生产栈里真正扛155万亿tokens/天KV缓存管理、PD分离、副本负载均衡并没有一起放出，“自建一个DeepSeek API”是常见的第一行README误读；其二，它的真价值在两端，一是底层引擎透明化（V4.1-Flash怎么被喂、怎么被调度，代码摊开看），二是双后端（同一套框架既跑Blackwell也跑华为昇腾950），把前沿模型跨硬件栈的门槛往下压；其三，Apache2.0是实打实开源（仓库已公开、代码到手），但面向的是有GPU/昇腾集群的团队，不是想省几块钱API费的个人；其四，配套的deepseek-recipe（Rust+Python）负责把请求编解码对齐官方API，这一笔让“自建”出来的行为不容易跑偏；其五，几个惊人数字（155万亿tokens/天、每卡每小时38美金、2.5万tokens/s/GPU解码）是DeepSeek公布的其生产系统数据，不是开源离线引擎的实测，复现与否是另一回事。

它是什么：开源的是“离线推理”，不是“在线服务”

先把范围钉死，因为这是最容易误读的地方。DeepInfer是DeepSeek内部用于生产推理的框架——过去只在自己的API后面跑，现在把代码摊到GitHub（Apache2.0，仓库deepseek-ai/DeepInfer），对外发布是10月20日（仓库10月16日建仓）。但摊出来的，是“离线/批量推理”这条路径：你把模型权重和请求喂进去，它在单集群上高效地完成大规模推理。真正让它一天扛155万亿tokens/天的生产服务栈——KV缓存管理、prefill/decode分离（PD分离）、副本负载均衡——并没有一起开源。换句话说，开源的是“引擎的离线用法”，不是“在线API的完整复刻”。把README第一行读成“我也能搭一个DeepSeek级服务”，是从根上读错了。

开源范围与核心能力（一表看清）

把它开源了什么、没开源什么，压成一张表更清楚。

几个读法。第一，这是框架级、不是算子级的开源：过去DeepSeek开源的是FlashMLA、DeepGEMM、DeepEP这类“算子/内核”，现在是把调用它们的“框架”也交出来，能看到的层级更深。第二，分布式与解码优化是真功夫：Attention DP、MoE EP+EPLB管并行，DSpark投机解码加置信度调度管“猜得准不准”，SWA Bounded Replay、结构化输出、异步调度则是生产推理常见的工程件。第三，配套的deepseek-recipe很实用——用Rust写内核、Python绑定的方式，把请求编解码对齐官方API，省得你自己重写一套tokenizer逻辑而跑偏。第四，最该盯的是“未开源”那一行：KV缓存、PD分离、负载均衡，这三块恰好是“从离线跑通到在线扛量”最难、也最值钱的部分。

双后端的意义：把“跨硬件栈”的门槛往下压

DeepInfer同时兼容英伟达Blackwell（SM100）与华为昇腾950，这条值得单独说。Blackwell是英伟达当前一代旗舰算力，SM100是它在软件栈里的代号；昇腾950是华为的国产算力。同一套推理框架能在这两类硬件上跑V4.1-Flash，意味着有集群的团队不必为了“换硬件”重写一整套推理逻辑——至少在框架层，NVIDIA和华为两条路被同一份代码兜住了。

图：DeepInfer双后端：同一框架，两条硬件路

V4.1-Flash权重 + 请求
        ↓ DeepInfer（统一推理框架）
英伟达Blackwell（SM100）    华为昇腾950

说明：图示DeepInfer对两类硬件后端的统一抽象（依据官方README与多家媒体报道）：同一套推理框架在框架层同时支持英伟达Blackwell（SM100）与华为昇腾950，团队无需为换硬件重写整套推理逻辑；Blackwell为英伟达当前一代旗舰、昇腾950为华为国产算力。“兼容/适配”为官方宣称支持，真实在昇腾950上的吞吐与稳定性以社区实测为准。

对国内尤其要紧：当先进制程受限、国产算力要挑大梁时，一个前沿模型“能不能在国产卡上跑起来”，往往比“跑得多快”更先成为生死线。DeepInfer把昇腾950拉进官方支持列表，等于给这条国产路线铺了一块路基。但要注意，“兼容/适配”是官方宣称的支持，真实在昇腾950上的吞吐、稳定性、是否要打补丁，得看社区在具体硬件和负载下的实测。

数字要看清：那是“生产系统”，不是“开源离线引擎”

DeepSeek公布过一组很硬的数字：单一集群每天扛155万亿tokens，每卡每小时约38美金收入，解码吞吐自报2.5万tokens/s/GPU。但得把这话拆开读——这些描述的是它“在线生产系统”的能力，不是开源出来的离线引擎的实测。开源版走的是离线/批量路径，缺了KV缓存、PD分离、负载均衡这三块在线服务的承重墙；你能不能在自己的Blackwell或昇腾950集群上复现接近的数字，取决于硬件、规模，以及你愿不愿意自己把那三块补上。换句话说，开源给了我们“看清内部怎么跑”的窗口，没给了我们“免费复刻DeepSeek级服务”的钥匙。至于仓库热度（发布几天Star数数百），那是人气指标，不是质量背书。

诚实边界

几句话把口径摆正。其一，来源为官方GitHub仓库（deepseek-ai/DeepInfer，README为第一手，官方仓库页面暂缺直接核对，事实以README与多家媒体交叉印证为准）；对外发布2026-10-20（仓库10-16建仓）。其二，开源范围为“离线/批量推理”路径；生产服务的KV缓存管理、PD分离（prefill/decode分离）、副本负载均衡未随开源放出，故“自建完整DeepSeek API”系误读，开源版并非在线服务的一比一复刻。其三，双后端（NVIDIA SM100/Blackwell与华为昇腾950）为官方宣称支持；实际在昇腾950上的性能与稳定性，需在具体硬件与负载下验证，以社区实测为准。其四，155万亿tokens/天、每卡每小时38美金、2.5万tokens/s/GPU解码等为DeepSeek公布的其生产系统数据，非开源离线引擎的实测基准；开源离线版能否复现取决于硬件、规模与所缺组件的自建。其五，Apache2.0为实开源（仓库公开、代码到手），许可边界以仓库LICENSE文件为准；面向有GPU/昇腾集群的团队，非个人轻量使用场景。其六，本文仅做技术解读与口径澄清，不给任何团队选型或部署建议。

这意味着什么：开源从“算子”走向“引擎”，但停在“离线”

把DeepInfer放进DeepSeek这两年的开源节奏里看，脉络很清楚：从FlashMLA、DeepGEMM、DeepEP这类算子/内核级开源，到如今把调用它们的框架级引擎DeepInfer也交出来，开源的层级在往深走；但停在了“离线推理”——生产服务里最值钱的缓存、调度、负载均衡，依旧攥在自己手里。这很DeepSeek：用开源换生态与信任，把护城河留在最难工程化的地方。双后端则是更明确的战略信号：同一套前沿模型，既喂给全球NVIDIA用户，也给中国本土算力（华为昇腾950）一条能跑起来的路。“多硬件栈”不是口号，是算力自主的刚需。至于想自建的人，结论也朴素：能看清V4.1-Flash内部怎么被喂、被调度，能让自建行为对齐官方API，这已经比黑盒强太多；但“一键拥有DeepSeek级在线服务”不现实——缺的那三块，恰恰是最该自己啃的硬骨头。