通过预定义稀疏性增强分裂计算和早退出应用
内容提要
本文探讨了在移动设备上应用深度神经网络的技术，提出通过分割计算和提前结束计算的方法来优化资源使用，降低带宽和能耗。研究开发了多种算法，如SplitEE和I-SplitEE，能够在保持准确性的同时显著降低成本。此外，介绍了动态拆分计算模型和AdaptiveActivation技术，以提高推理效率并适应不同硬件需求。
延伸解读
分割计算与早退出的融合策略
文章将分割计算与早退出结合，提出SplitEE和I-SplitEE等算法。SplitEE通过在线无监督学习，在资源受限设备上选择性计算和外部计算，实现成本降低超过50%，准确性仅下降不到2%。I-SplitEE则针对缺乏基本事实和时序数据的场景，在Caltech-256和Cifar-10数据集上验证，成本降低至少55%，性能退化最多5%。这种融合为移动设备部署深度神经网络提供了可行的优化方向。
动态拆分与多任务部署的进展
动态拆分计算模型利用深度神经网络中的瓶颈结构动态选择拆分位置，避免重新训练和超参数优化，且不影响最终准确性，在边缘计算环境中实现更快推理。MTL-Split架构则解决多任务DNN在Split Computing框架内的部署问题，在合成和真实数据上取得令人鼓舞的结果。这些进展表明，拆分计算正从单任务向多任务和动态适应方向发展。
自适应技术与强化学习的优化效果
AdaptiveActivation技术通过超参数动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同硬件约束，实验显示比基准技术减少内存需求10%到38%。SplitPlace基于强化学习智能决策神经网络的分割和部署策略，实验表明可显著提高平均响应时间、截止日期违规率、推断准确度和总奖励，分别达46%、69%、3%和12%。这些技术进一步提升了边缘计算环境的效率和适应性。
Q&A
如何通过分割计算和提前结束计算优化移动设备上的深度神经网络？
通过将深度神经网络分别部署在移动设备和云/边缘服务器上，分割计算和提前结束计算可以减少带宽和能耗，同时提高精度。
SplitEE算法的主要优势是什么？
SplitEE算法通过选择性计算和外部计算，实现成本降低超过50%，准确性仅略微降低不到2%。
I-SplitEE算法适用于哪些场景？
I-SplitEE算法适用于缺乏基本事实和具有时序数据的场景，能够将成本降低至少55%，性能退化最多5%。
动态拆分计算模型的优势是什么？
动态拆分计算模型通过动态选择拆分位置，避免了重新训练和超参数优化，提升了边缘计算环境中的推理速度。
MTL-Split架构解决了什么问题？
MTL-Split架构解决了多任务DNN在Split Computing框架内的部署问题，并展示了良好的实验结果。
AdaptiveActivation技术如何提高深度神经网络的效率？
AdaptiveActivation技术通过动态调整深度神经网络的精确度和能源消耗，适应不同硬件约束，减少内存需求10%到38%。
