动态拆分:一种能源意识推断的硬件-软件协同设计框架

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

提出了DVFO框架,通过优化边缘设备的CPU、GPU和内存频率,以及云服务器的特征映射卸载,提升了DNN模型在不同网络条件下的能效和推理延迟。实验结果表明,能耗降低33%,推理延迟最高减少54%。

🎯

关键要点

  • 提出了DVFO框架,基于DVFS技术。
  • 优化边缘设备的CPU、GPU和内存频率。
  • 实现云服务器的特征映射卸载。
  • 改善DNN模型在不同网络条件下的能效和推理延迟。
  • 实验结果显示能耗降低33%。
  • 推理延迟最高减少54%。
➡️

继续阅读