DeepSeek 把自己线上服务用的推理框架交出来了。2026 年 10 月 20 日，DeepSeek 通过官方账号宣布，将内部推理框架 DeepInfer 全面开源，代码以 Apache-2.0 许可证发布在 GitHub 的 deepseek-ai 组织下；公司称，基于这套框架已经实现 DeepSeek-V4.1-Flash 高吞吐、低延迟的大规模推理服务，未来新模型的推理代码和后续优化也会继续在这个仓库更新。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，用来让自建部署的编解码逻辑与官方 API 保持一致。
开源的是推理引擎，不是整套服务
按仓库 README 的说明，这次发布提供的是离线推理能力和规模化服务的核心功能：优化内核（FlashMLA、DeepGEMM、DeepEP 等自研组件）、注意力数据并行与 MoE 专家并行、异步调度、批量不变推理、确定性采样，以及用正则、JSON Schema 或 EBNF 约束的结构化输出。解码加速用的是 DSpark 草稿 token 加置信度调度验证，草稿最大长度默认为 5。需要泼冷水的是边界同样写得很清楚：完整的推理服务还需要 KV 缓存系统、预填充与解码分离、跨副本负载均衡，这三样不在本次发布范围内，想直接照搬 DeepSeek 线上架构的团队还得自己补齐。
硬件门槛：新卡和昇腾，旧卡先观望
DeepInfer 目前只支持一个模型 DeepSeek-V4.1-Flash，默认权重是 DeepSeek-V4.1-Flash-1017，首次运行会从 Hugging Face 自动下载。硬件只列了两类：英伟达 SM100 GPU 和华为昇腾 950 NPU，环境要求 Linux、GCC 13 以上、Python 3.12，英伟达侧要 CUDA 13、昇腾侧要 CANN 9.2。官方性能数据是在 4 张 SM100 上测预填充、64 张上测解码得出的。也就是说，手里是上一代显卡的团队暂时用不上，它的定位是给有新硬件、要成规模跑 DeepSeek 模型的基础设施团队，而不是个人玩家的本地玩具。框架本身最初主要基于 vLLM 构建，并借鉴了 SGLang 与 TensorRT-LLM，这一点 README 里也明确致谢。
对自建部署的团队意味着什么
这次开源的实际价值在于：过去想高效率跑 DeepSeek 模型，社区框架的优化进度总比官方内部版本慢半拍；现在官方把自己在用的内核、并行策略和采样确定性方案放出来，自建集群的团队可以少走一轮调参试错，昇腾进入官方支持名单也让国产算力多了一个被验证过的推理栈选项。但它只覆盖自家模型、只支持最新硬件、又缺服务化组件，短期内更像一块拼图而不是替代 vLLM 的完整答案。接下来值得盯的是仓库的更新节奏：DeepSeek 承诺新模型推理代码在此持续更新，如果后续把 KV 缓存和分离式部署补齐，这套框架对推理成本的影响才会真正显现。
