BriefGPT - AI 论文速递
·
在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本论文提出了一种结合算法和硬件的运行时性能权衡管理方法，通过动态超网络实现实时满足应用性能目标和硬件约束。在Jetson Xavier NX的GPU上，相比最先进的方法，模型的速度提高了2.4倍，准确率提高了5.1%。设计的分级运行时资源管理器能够在不同场景中降低能量消耗和延迟。
🎯
关键要点
- 深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等优势。
- 有效部署深度神经网络面临计算资源有限的挑战。
- 提出了一种结合算法和硬件的运行时性能权衡管理方法。
- 通过动态超网络实现实时满足应用性能目标和硬件约束。
- 在Jetson Xavier NX的GPU上，模型速度提高了2.4倍，准确率提高了5.1%。
- 设计的分级运行时资源管理器在单模型部署场景中能量降低19%，延迟降低9%。
- 在两个并发模型部署场景中，能量降低89%，延迟降低23%。
➡️
