💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
DeepSeek推出的DualPath推理框架通过引入存储至解码引擎的路径，解决了I/O瓶颈，离线推理吞吐量提升1.87倍，在线服务提升1.96倍，有效利用闲置带宽，显著降低延迟。
🎯
关键要点
- DeepSeek推出了DualPath推理框架，解决了智能体推理中的I/O瓶颈。
- DualPath通过优化KV-Cache加载速度，确保计算资源不被存储读取拖累。
- 引入了存储至解码引擎的第二条路径，改变了传统的单路径加载模式。
- 在660B规模的生产级模型中，离线推理吞吐量提高了1.87倍，在线服务吞吐量提升1.96倍。
- DualPath通过动态选择路径重新分配网络负载，缓解了预填充侧的带宽压力。
- 当前智能体应用中，KV-Cache命中率高达95%，推理性能瓶颈转移至数据搬运。
- DualPath构建了双路径模型，允许KV-Cache先加载至解码引擎，再传输至预填充引擎。
- 系统通过流量管理和自适应请求调度器优化了缓存搬运与模型计算的通信。
- DualPath在不增加硬件成本的前提下，大幅提升了智能体LLM推理系统的效率。
- 论文第一作者吴永彤是北京大学博士生，专注于推理系统的工程优化与规模化部署。
❓
延伸问答
DualPath推理框架的主要创新是什么？
DualPath推理框架通过引入存储至解码引擎的第二条路径，解决了智能体推理中的I/O瓶颈，优化了KV-Cache加载速度。
DualPath在推理性能上有哪些具体提升？
在660B规模的生产级模型中，DualPath的离线推理吞吐量提高了1.87倍，在线服务吞吐量提升了1.96倍。
为什么DualPath要引入双路径模型？
DualPath引入双路径模型是为了缓解预填充侧的带宽压力，并优化KV-Cache的加载过程，避免计算资源被存储读取拖累。
DualPath如何优化缓存搬运与模型计算的通信？
DualPath通过流量管理和自适应请求调度器优化了缓存搬运与模型计算的通信，确保两者互不干扰。
当前智能体应用中KV-Cache的命中率是多少？
在当前智能体应用中，KV-Cache的命中率高达95%。
论文的第一作者是谁，他的研究方向是什么？
论文的第一作者是吴永彤，他的研究方向聚焦于推理系统的工程优化与规模化部署。
➡️
