DeepSeek正式开源大规模云服务推理框架DeepInfer,并同步开源生产级Token编解码组件Deepseek-recipe,与官方API逻辑对齐。基于DeepInfer,DeepSeek V4.1 Flash实现高吞吐、低延迟推理,单集群日吞吐达155万亿Tokens,每卡每小时收入38美元。该框架集成高性能算子,支持分布式推理、推测解码等,兼容英伟达与华为昇腾平台,未来新模型推理代码将持续更新。
完成下面两步后,将自动完成登录并继续当前操作。