DeepSeek开源其API背后的推理引擎，华为与英伟达并驾齐驱
内容提要
DeepSeek以Apache 2.0协议开源生产环境推理框架DeepInfer，支持在自有基础设施上运行V4.1 Flash模型，包含优化计算内核、通信库、投机解码与异步调度等组件；同时开源deepseek-recipe库以帮助复现官方API行为。该框架支持英伟达SM100及华为昇腾950 NPU，但部分功能仅限英伟达，且尚缺KV缓存管理等完整生产组件。
延伸解读
开源范围有限：核心组件已开放，生产配套仍缺失
DeepInfer 以 Apache 2.0 协议开源，包含优化计算内核、通信库、投机解码与异步调度等组件，但文档明确其目前仅支持离线推理，且缺少 KV 缓存管理、跨机阶段分离和副本负载均衡等完整生产服务所需组件。这意味着开发者获得的是引擎核心，而非开箱即用的生产级服务，仍需自行补齐周边基础设施。
硬件支持双轨：英伟达与华为并列，但功能不对等
DeepInfer 首发即支持英伟达 SM100 架构和华为昇腾 950 NPU 系列，但部分功能仅限英伟达，如批量不变推理和确定性采样。官方性能数据也基于英伟达 GPU（4 卡预填充、64 卡解码），昇腾上的实际表现尚不明确。开发者若选择华为平台，需注意功能差异和性能未知的风险。
从组件贡献到完整引擎：开源策略的转变与妥协
DeepSeek 曾在 2025 年表示，因引擎与内部基础设施紧耦合、团队维护能力有限，完整开源不切实际，转而贡献单个组件。此次 DeepInfer 的发布标志着策略转变，但通过缩小发布范围（仅离线推理、缺失生产组件）来规避此前障碍。公司未解释如何克服旧难题，但这一折中方案让社区得以接触其生产栈的核心部分。
对开发者的实际价值：研究优化与复现 API 行为
对于无法直接使用英伟达或华为芯片的开发者，DeepInfer 的代码可供研究并适配到其他推理引擎。同时开源的 deepseek-recipe 库（支持 Rust 和 Python）能帮助复现官方 API 的请求转换与输出处理行为。结合近期发布的 V4.1 Flash 更新和搜索 API，DeepSeek 正逐步开放其推理栈的多个层面，但生产部署仍需自行补足缺失组件。
Q&A
DeepSeek开源的DeepInfer是什么？主要用来做什么？
DeepInfer是DeepSeek以Apache 2.0协议开源的生产环境推理框架，旨在让开发者在自有基础设施上运行DeepSeek的V4.1 Flash模型，并复用DeepSeek官方API背后的许多优化，以降低计算成本、减少能耗。
DeepInfer包含哪些核心组件和优化技术？
DeepInfer包含优化的计算内核和通信库（如FlashMLA、DeepGEMM、DeepEP），支持多芯片分布式推理、投机解码、异步调度以及结构化输出。
DeepInfer支持哪些硬件平台？有什么限制？
DeepInfer支持英伟达SM100架构（Blackwell数据中心GPU）和华为昇腾950 NPU系列。但部分功能如批处理不变推理和确定性采样仅限英伟达硬件，且性能测试也仅基于英伟达GPU。
deepseek-recipe库是做什么的？支持哪些语言？
deepseek-recipe是一个配套库，用于处理API请求如何转换为模型输入以及输出如何被处理为响应，帮助开发者在自部署时复现DeepSeek官方API的行为。它支持Rust和Python。
DeepInfer目前缺少哪些生产级组件？
DeepInfer目前支持离线推理和规模化服务的核心功能，但缺少KV缓存管理系统、跨机器分离推理阶段的基础设施以及副本间的负载均衡等完整生产服务所需的组件。
DeepSeek为什么之前不开源推理引擎，现在又开源了？
2025年4月DeepSeek曾表示其推理软件已高度定制化且与内部基础设施紧密耦合，公开部署不切实际，同时担心小团队维护大型开源项目的能力。此次开源可能通过缩小发布范围（如仅支持离线推理）来克服部分障碍，但公司未明确解释如何解决先前困难。
