BriefGPT - AI 论文速递
·
面向边缘设备的压缩网络对分布转移的鲁棒性
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
较大的网络比较小的网络更容易丧失稳健性，压缩网络在面对域转移和对抗扰动时的稳健性较低。知识蒸馏得到的紧凑网络在面对域转移时比剪枝网络更稳健。后训练量化是一种可靠的方法，能显著提高稳健性，胜过剪枝和蒸馏模型的稳健性。
🎯
关键要点
- 较大的网络比较小的网络更容易丧失稳健性。
- 压缩网络在面对域转移和对抗扰动时的稳健性较低。
- 知识蒸馏得到的紧凑网络在面对域转移时比剪枝网络更稳健。
- 后训练量化是一种可靠的方法，能显著提高稳健性，胜过剪枝和蒸馏模型的稳健性。
➡️
