面向边缘设备的压缩网络对分布转移的鲁棒性
内容提要
本文综述深度神经网络压缩与鲁棒性研究：分布鲁棒优化和结构化潜在代码可提升压缩系统鲁棒性；压缩与未压缩模型间对抗样本具有传递性，量化模型对整数精度敏感；量化训练可产生更稳定模型；对抗增强提升医学应用泛化鲁棒性；剪枝、量化等压缩技术一般不会削弱对抗鲁棒性，但不同方法效果存在差异。
延伸解读
压缩与鲁棒性：并非简单取舍
文章汇总的多项研究表明，剪枝、量化等压缩技术一般不会削弱对抗鲁棒性，部分方法甚至能保持或提升鲁棒性。但效果因压缩方法、应用场景而异，例如量化模型对整数精度高度敏感，剪枝策略的改进也能在紧凑网络中保留鲁棒性。读者需注意，压缩与鲁棒性并非天然对立，但具体方案需结合任务验证。
对抗样本的传递性揭示量化模型脆弱点
实验发现，折叠模型生成的对抗样本对未压缩模型同样有效，说明对抗扰动可在压缩与未压缩模型间传递。然而，量化模型的传递性与整数精度高度敏感，这意味着低精度量化可能引入额外脆弱性。在边缘设备部署压缩模型时，需关注量化精度对对抗鲁棒性的影响，不能仅以未压缩模型的鲁棒性作为参考。
量化训练与对抗增强提升泛化鲁棒性
文章指出，量化训练可产生更稳定的模型，且Margin是量化模型中更好的不确定性度量。在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。这些发现提示，通过训练策略（如量化感知训练、对抗增强）可在压缩模型中主动提升鲁棒性，而不仅是被动接受压缩带来的影响。
边缘部署需综合权衡压缩、精度与鲁棒性
面向资源受限的嵌入式设备，研究使用QKeras自动量化感知训练框架，训练出稳健性能显著优于现有基准的小型DNN模型。同时，对预训练语言模型的压缩技术分析也表明，不同压缩方法对鲁棒性和泛化能力影响不同。因此，在边缘设备上部署压缩模型时，应综合考虑压缩率、整数精度、对抗鲁棒性及具体应用场景，而非单一追求压缩或鲁棒性指标。
Q&A
有哪些方法可以提升压缩深度神经网络在分布转移下的鲁棒性？
可以采用分布鲁棒优化和结构化潜在代码进行训练，这两种方法能取得比传统深度神经网络压缩器更优的效果。
压缩模型和未压缩模型之间的对抗样本可以互相传递吗？
是的，折叠模型生成的对抗样本对未压缩模型也很有效，但量化模型的传递性与整数精度高度敏感。
量化训练对模型在分布转移下的稳定性有什么影响？
量化训练可以产生更稳定的模型，并且在量化模型中，Margin 是衡量不确定性的更好指标。
在医学应用中，对抗性增强如何影响模型的鲁棒性？
对抗性增强显著提高了鲁棒性的泛化能力，并且对数据准确性影响不大。
模型压缩技术（如剪枝和量化）会削弱对抗鲁棒性吗？
一般不会削弱对抗鲁棒性，但不同压缩方法的效果存在差异，不同应用中的表现也不同。
QKeras 框架在训练鲁棒小型 DNN 模型方面有什么优势？
使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型，其稳健性能显著优于现有基准测试。
