内容提要
DeepSeek推出的DualPath推理框架通过引入存储至解码引擎的路径，解决了I/O瓶颈，离线推理吞吐量提升1.87倍，在线服务提升1.96倍，有效利用闲置带宽，显著降低延迟。
关键要点
-
DeepSeek推出了DualPath推理框架，解决了智能体推理中的I/O瓶颈。
-
DualPath通过优化KV-Cache加载速度，确保计算资源不被存储读取拖累。
-
引入了存储至解码引擎的第二条路径，改变了传统的单路径加载模式。
-
在660B规模的生产级模型中，离线推理吞吐量提高了1.87倍，在线服务吞吐量提升1.96倍。
-
DualPath通过动态选择路径重新分配网络负载，缓解了预填充侧的带宽压力。
-
当前智能体应用中，KV-Cache命中率高达95%，推理性能瓶颈转移至数据搬运。
-
DualPath构建了双路径模型，允许KV-Cache先加载至解码引擎，再传输至预填充引擎。
-
系统通过流量管理和自适应请求调度器优化了缓存搬运与模型计算的通信。
-
DualPath在不增加硬件成本的前提下，大幅提升了智能体LLM推理系统的效率。
-
论文第一作者吴永彤是北京大学博士生，专注于推理系统的工程优化与规模化部署。
延伸问答
DualPath推理框架的主要创新是什么？
DualPath推理框架通过引入存储至解码引擎的第二条路径，解决了I/O瓶颈，优化了KV-Cache加载速度。
DualPath框架如何提升推理性能？
在660B规模的生产级模型中，DualPath使离线推理吞吐量提高了1.87倍，在线服务吞吐量提升1.96倍。
DualPath框架是如何解决带宽压力的？
DualPath通过动态选择路径重新分配网络负载，缓解了预填充侧的带宽压力。
为什么DualPath框架采用双路径模型？
双路径模型允许KV-Cache先加载至解码引擎，再传输至预填充引擎，从而优化数据搬运效率。
DualPath框架对智能体应用的影响是什么？
DualPath显著提升了智能体LLM推理系统的效率，降低了延迟，并优化了资源利用。
谁是DualPath论文的第一作者？
论文第一作者是吴永彤，他是北京大学的博士生。
