💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
DeepSeek推出的DualPath推理框架通过引入存储至解码引擎的路径，解决了I/O瓶颈，离线推理吞吐量提升1.87倍，在线服务提升1.96倍，有效利用闲置带宽，显著降低延迟。
🎯
关键要点
- DeepSeek推出了DualPath推理框架，解决了智能体推理中的I/O瓶颈。
- DualPath通过优化KV-Cache加载速度，确保计算资源不被存储读取拖累。
- 引入了存储至解码引擎的第二条路径，改变了传统的单路径加载模式。
- 在660B规模的生产级模型中，离线推理吞吐量提高了1.87倍，在线服务吞吐量提升1.96倍。
- DualPath通过动态选择路径重新分配网络负载，缓解了预填充侧的带宽压力。
- 当前智能体应用中，KV-Cache命中率高达95%，推理性能瓶颈转移至数据搬运。
- DualPath构建了双路径模型，允许KV-Cache先加载至解码引擎，再传输至预填充引擎。
- 系统通过流量管理和自适应请求调度器优化了缓存搬运与模型计算的通信。
- DualPath在不增加硬件成本的前提下，大幅提升了智能体LLM推理系统的效率。
- 论文第一作者吴永彤是北京大学博士生，专注于推理系统的工程优化与规模化部署。
➡️
