动态拆分:一种能源意识推断的硬件-软件协同设计框架
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
提出了DVFO框架,通过优化边缘设备的CPU、GPU和内存频率,以及云服务器的特征映射卸载,提升了DNN模型在不同网络条件下的能效和推理延迟。实验结果表明,能耗降低33%,推理延迟最高减少54%。
🎯
关键要点
- 提出了DVFO框架,基于DVFS技术。
- 优化边缘设备的CPU、GPU和内存频率。
- 实现云服务器的特征映射卸载。
- 改善DNN模型在不同网络条件下的能效和推理延迟。
- 实验结果显示能耗降低33%。
- 推理延迟最高减少54%。
➡️