移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理
原文中文,约400字,阅读约需1分钟。发表于: 。深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而,由于计算资源有限,有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法,通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中,我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet...
本论文提出了一种结合算法和硬件的运行时性能权衡管理方法,通过动态超网络实现实时满足应用性能目标和硬件约束。在Jetson Xavier NX的GPU上,相比最先进的方法,速度提高了2.4倍或准确率提高了5.1%。设计的分级运行时资源管理器在能量和延迟方面都有显著降低。