无需正则化:一种高效且有效的不完整标签分布学习模型
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文研究了对抗鲁棒性的半监督对抗训练,提出了正则化项以应用于无标签数据,并通过知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明,该算法在性能方面取得了显著提升,即使有限的有标签数据量,仍能与使用所有标签数据的监督对抗训练算法相媲美。
🎯
关键要点
- 研究对抗鲁棒性的半监督对抗训练
- 探究稀缺有标签数据情况下的鲁棒风险上界
- 提出正则化项以应用于无标签数据
- 通过知识蒸馏结合正则化项进行半监督对抗训练算法
- 实验证明算法在性能方面显著提升
- 有限的有标签数据量仍能与监督对抗训练算法相媲美
- 在CIFAR-10数据集上,使用8%的有标签数据表现接近
➡️