Optimizing Multi-DNN Inference on Mobile Devices through Heterogeneous Processor Co-Execution

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种先进的多深度神经网络模型调度策略(ADMS),旨在优化移动设备上的多DNN推理。该策略通过离线构建最优子图划分,实现硬件支持与调度平衡,并根据实时条件动态调整工作负载,显著提高处理器利用率和性能。实验结果表明,ADMS在推理延迟上比传统框架减少了4.04倍。

🎯

关键要点

  • 本研究提出了一种先进的多深度神经网络模型调度策略(ADMS),旨在优化移动设备上的多DNN推理。
  • ADMS通过离线构建最优子图划分,实现硬件支持与调度平衡。
  • 该策略能够根据实时条件动态调整工作负载,显著提高处理器利用率和性能。
  • 实验结果显示,ADMS在推理延迟上比传统框架减少了4.04倍。
➡️

继续阅读