SwapNet: 边缘 AI 设备上高效交换的 DNN 推断处理超出内存预算
内容提要
该文综述边缘智能中的深度神经网络优化研究，涵盖Edgent协作推理、SmartExchange算法硬件协同设计、DNNShifter模型修剪切换、CoEdge分布式计算及人机协同设计等框架，通过模型压缩、分区推理与资源调度，在精度与能耗、延迟间取得平衡，提升边缘设备实时推理效率。
延伸解读
边缘AI推理的优化路径
文章综述了多种边缘AI推理优化框架，如Edgent、SmartExchange、DNNShifter等，它们分别从协作推理、算法-硬件协同设计、模型修剪等角度，解决资源受限设备上的DNN部署问题。这些方法共同表明，通过模型压缩、分区推理和资源调度，可以在精度与能耗、延迟之间取得平衡，提升实时推理效率。
算法与硬件协同设计趋势
SmartExchange和动态超网络等工作强调了算法与硬件协同设计的重要性。SmartExchange通过强制特殊权重结构，将稀疏化、分解和量化统一，并设计专用加速器；动态超网络则结合运行时资源管理，在Jetson Xavier NX上实现了显著加速和能效提升。这反映了边缘AI优化正从纯算法转向软硬件联合优化。
分布式与协同推理的实践
CoEdge和Edgent等框架探索了分布式和协同推理。CoEdge在异构边缘设备上协同计算，降低能耗；Edgent通过DNN分区和早期退出，协调设备与边缘资源以降低延迟。这些实践表明，利用多设备协作和边缘计算资源，可以有效缓解单设备资源限制，实现低延迟边缘智能。
Q&A
Edgent 是什么？它如何提升边缘设备上的 DNN 推理性能？
Edgent 是一种协作和按需的 DNN 合作推理框架，旨在通过在设备和边缘之间自适应地分配 DNN 计算，并在适当的中间 DNN 层进行早期退出来加速 DNN 推理，从而提高实时 DNN 推理的性能。
SmartExchange 如何实现深度神经网络的高能效推理？
SmartExchange 是一种算法-硬件协同设计框架，通过强制一种特殊的 DNN 权重结构，将稀疏化、分解和量化三种模型压缩思想集成到统一框架中，得到稀疏、易于量化的 DNN，具有极低的能耗和存储需求。同时设计了专用加速器，充分利用该权重结构，改进能效和延迟。
DNNShifter 系统的主要功能和优势是什么？
DNNShifter 是一个端到端的 DNN 训练、空间修剪和模型切换系统，通过结构化修剪的新方法快速生成适用于边缘推理的模型变体。这些变体比密集模型更小、更快，在保持相似精度的同时，产生高效的推理延迟和低开销的模型切换和内存利用。
CoEdge 系统如何优化边缘设备的协同 DNN 计算？
CoEdge 是一个分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算。与现有方法相比，CoEdge 在降低能耗方面更具优势。
人机协同设计策略如何用于构建低存储的语音识别 DNN？
该策略通过人驱动的设计原则网络设计原型和机器驱动的设计探索来构建语音识别的低存储深度神经网络体系结构。实验证明，此策略可以构建出一系列高效率的 DNN，用于有限词汇的语音识别，具有更高的精度、更小的网络体积和更低的计算成本，非常适合设备上的语音接口应用。
边缘设备上部署 DNN 面临哪些挑战？有哪些常见的优化方法？
边缘设备计算资源有限，有效部署 DNN 具有挑战性。常见的优化方法包括：模型压缩（如稀疏化、分解、量化）、分区推理（如 Edgent 在设备和边缘间分配计算）、资源调度（如 CoEdge 优化计算和通信资源）、以及算法-硬件协同设计（如 SmartExchange）。这些方法旨在平衡精度与能耗、延迟，提升实时推理效率。
