BriefGPT - AI 论文速递
·
通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的鲁棒风险上界，并提出了正则化项应用于无标签数据。通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们的算法在性能方面取得了显著提升，即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，在准确率和鲁棒准确率上表现接近。
🎯
关键要点
- 研究了对抗鲁棒性的半监督对抗训练。
- 探究了稀缺有标签数据情况下的鲁棒风险上界。
- 提出了正则化项以应用于无标签数据。
- 结合半监督教师模型的知识蒸馏进行半监督对抗训练算法。
- 实验证明算法在性能方面显著提升。
- 即使有限的有标签数据量，算法仍能与使用所有标签数据的监督对抗训练算法相媲美。
- 在标准准确率和鲁棒准确率上表现接近，使用8%的有标签数据时在CIFAR-10数据集上表现良好。
➡️
