事实梳理：DeepInfer 到底是什么
2025 年 4 月，DeepSeek 曾公开声明：自家推理引擎跟内部集群工具深度耦合，2025 年 4 月曾声明不开源。一年半之后，这句话被反转了——2026-10-20 发布，DeepSeek 在 GitHub 上把自家生产级推理框架 DeepInfer 以 Apache 2.0 协议开源，官方 X 账号 @deepseek_ai 同日官宣。这套框架的定位很直白：支撑 DeepSeek 大规模生产服务的推理框架，就是公司自己每天在线上跑流量的那一套。
首版能跑的模型只有一个：DeepSeek-V4.1-Flash。芯片支持两条线：NVIDIA SM100（配 CUDA 13）和 Huawei Ascend 950（配 CANN 9.2）。从仓库结构看，DeepInfer 是基于 vLLM 深度定制的，同时借鉴了 SGLang 与 TensorRT-LLM 的思路，算力核心是一套自研内核：FlashMLA、DeepGEMM、DeepEP、DeepSelect、TileKernels。
官方自报了一组生产数据，注意：以下数字全部出自 DeepSeek 官方披露，暂无第三方独立验证——单个集群每天 155 万亿 tokens/天/集群，96% 输入缓存命中率，约 400ms 首 token，稳态 230 tok/s，代码场景最高到 300 tok/s。配套还发布了 deepseek-recipe，做 token 编解码并与官方 API 对齐。
几个实打实的特性：DSpark 置信调度做的 speculative decoding；batch-invariant 推理，也就是同输入同参数跑出的结果确定一致，对评测和复现是刚需；结构化输出支持 regex、JSON schema、EBNF 三种约束。没包含的东西同样写得很诚实：KV cache 系统、prefill/decode 分离、副本间负载均衡这三块这次都没有，官方说后续其他模型的推理代码会持续加入同一个仓库。发布热度也不低：仓库首日约 5.5k stars、415 forks，HN 帖子拿到 237 points、79 条评论。
为什么这次开源值得在意
大模型真正的成本黑洞不在训练，而在推理。公开价格再低，也不等于你自己跑起来便宜。DeepSeek 把自家集群同款推理栈以 Apache 2.0 放出来，等于把「大规模、低成本跑推理」的方法论从闭源保险箱搬到了桌面上，任何团队都可以自建、可商用、可魔改。外媒报道 AI Weekly 与 Shattered.io 都把焦点放在这一点上：纯靠「托管推理」收溢价的服务商，定价压力会越来越大。
对国内生态最直接的影响是芯片端：Huawei Ascend 950 直接拿到了官方维护的高性能后端，昇腾生态多了一个拿得出手的推理引擎参考实现，大模型在国产 NPU 上的落地节奏有望加快。对云厂商而言，自建替代托管的路被铺平了一块；对普通开发者，这次至少能看清 DeepSeek 官方的吞吐曲线到底是怎么调出来的。
突破点清单
- 真正的生产线代码，不是教学 demo：跑的正是支撑自家线上流量的同一套框架；
- 商业友好的 Apache 2.0：可商用、可自建、可改，嵌入自家产品不用二次谈许可；
- 单仓双芯片：NVIDIA SM100 与 Huawei Ascend 950 同一仓库支持，不用为两套硬件各维护一份代码；
- 一套自研内核族：FlashMLA、DeepGEMM、DeepEP、DeepSelect、TileKernels，把热点算子攥在自己手里；
- 生产刚需凑齐：DSpark 置信调度 speculative decoding、batch-invariant 确定性推理、regex/JSON schema/EBNF 结构化输出；
- 配套 deepseek-recipe：token 编解码与官方 API 对齐，迁移成本更低。
真实局限与冷静评述
指标再漂亮，也有几盆冷水要先泼。第一，首版只跑 DeepSeek-V4.1-Flash 这一个模型，其他模型想跑，得等官方把推理代码陆续加进仓库，今天还跑不了。第二，这次没包含的三块——KV cache 系统、prefill/decode 分离、副本间负载均衡——恰恰是超大规模部署里最头疼的部分，等于把最难啃的骨头留给了后面。第三，硬件门槛真实存在：NVIDIA SM100 与 Huawei Ascend 950 都是新一代芯片，普通团队手里大概率凑不齐。
第四，所有漂亮数字都是官方自报，没有第三方复现，155 万亿 tokens/天/集群 这类数字看看就好，别当成自己小集群也能复刻的承诺。最后看时间点：这次发布恰在美国联邦机构被要求移除 DeepSeek 模型之后一天。从 2025 年 4 月的「不开源」声明到今天的反转，开源的姿态本身也是一种表态——技术透明换信任，代码之外的算盘同样值得留意。
