DeepSeek又放大招：全面开源大规模云服务推理框架DeepInfer
内容提要
DeepSeek正式开源大规模云服务推理框架DeepInfer，并同步开源生产级Token编解码组件Deepseek-recipe，与官方API逻辑对齐。基于DeepInfer，DeepSeek V4.1 Flash实现高吞吐、低延迟推理，单集群日吞吐达155万亿Tokens，每卡每小时收入38美元。该框架集成高性能算子，支持分布式推理、推测解码等，兼容英伟达与华为昇腾平台，未来新模型推理代码将持续更新。
延伸解读
开源推理框架的实用价值
DeepInfer 并非仅是一个研究原型，而是 DeepSeek 内部支撑大规模云服务推理的生产框架。其开源意味着社区可以直接获得经过高吞吐、低延迟验证的推理引擎，包括分布式推理、推测解码、SWA Bounded Replay 和结构化输出等能力。对于希望自建推理服务的团队，这降低了从零优化推理性能的门槛，也提供了与官方 API 逻辑对齐的参考实现。
编解码组件对齐官方体验
同步开源的 Deepseek-recipe 是生产级 Token 编解码组件，与 DeepSeek 官方 API 处理逻辑完整对齐。这一细节值得注意：许多开源模型在社区部署时，常因编解码差异导致输出行为与官方不一致。DeepSeek 将编解码逻辑一并开源，有助于开发者在本地或私有环境中复现与官方 API 一致的体验，减少适配成本。
性能数据背后的规模信号
文章披露，基于 DeepInfer 的 DeepSeek V4.1 Flash 单集群日吞吐达 155 万亿 Tokens，每卡每小时收入 38 美元（按谷价）。这组数据反映了该框架在超大规模推理场景下的实际表现，也暗示 DeepSeek 已将推理效率转化为可量化的经济收益。对于评估推理框架的读者，这些数字提供了生产环境下的参考基准，但需注意其与具体硬件配置和业务场景相关。
跨平台兼容与持续更新
DeepInfer 兼容英伟达与华为昇腾平台，这一设计使其能覆盖更广泛的硬件生态，尤其对国内使用昇腾算力的团队具有实际意义。此外，DeepSeek 表示未来新模型的推理代码及后续优化将持续在此更新。这意味着开源仓库不是一次性发布，而是会跟随模型迭代保持同步，读者在采用时可关注其长期维护节奏。
Q&A
DeepSeek 最新开源的推理框架叫什么？
DeepSeek 最新开源的推理框架叫 DeepInfer，是一个大规模云服务推理框架。
DeepInfer 开源包含了哪些组件？
DeepInfer 开源包含两个组件：DeepInfer 推理框架和 Deepseek-recipe 编解码组件。
DeepInfer 推理框架支持哪些功能？
DeepInfer 推理框架集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力。
DeepInfer 兼容哪些硬件平台？
DeepInfer 兼容英伟达与华为昇腾平台。
基于 DeepInfer 的 DeepSeek V4.1 Flash 推理性能如何？
基于 DeepInfer，DeepSeek V4.1 Flash 实现高吞吐、低延迟推理，单集群日吞吐达 155 万亿 Tokens，每卡每小时收入 38 美元（按谷价）。
Deepseek-recipe 编解码组件有什么特点？
Deepseek-recipe 是生产级 Token 编解码组件，与 DeepSeek 官方 API 处理逻辑完整对齐，确保社区获得与官方部署一致的 API 体验。
