Optimizing Multi-DNN Inference on Mobile Devices through Heterogeneous Processor Co-Execution
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种先进的多深度神经网络模型调度策略(ADMS),旨在优化移动设备上的多DNN推理。该策略通过离线构建最优子图划分,实现硬件支持与调度平衡,并根据实时条件动态调整工作负载,显著提高处理器利用率和性能。实验结果表明,ADMS在推理延迟上比传统框架减少了4.04倍。
🎯
关键要点
- 本研究提出了一种先进的多深度神经网络模型调度策略(ADMS),旨在优化移动设备上的多DNN推理。
- ADMS通过离线构建最优子图划分,实现硬件支持与调度平衡。
- 该策略能够根据实时条件动态调整工作负载,显著提高处理器利用率和性能。
- 实验结果显示,ADMS在推理延迟上比传统框架减少了4.04倍。
➡️