无需正则化:一种高效且有效的不完整标签分布学习模型

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文研究了对抗鲁棒性的半监督对抗训练,提出了正则化项以应用于无标签数据,并通过知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明,该算法在性能方面取得了显著提升,即使有限的有标签数据量,仍能与使用所有标签数据的监督对抗训练算法相媲美。

🎯

关键要点

  • 研究对抗鲁棒性的半监督对抗训练
  • 探究稀缺有标签数据情况下的鲁棒风险上界
  • 提出正则化项以应用于无标签数据
  • 通过知识蒸馏结合正则化项进行半监督对抗训练算法
  • 实验证明算法在性能方面显著提升
  • 有限的有标签数据量仍能与监督对抗训练算法相媲美
  • 在CIFAR-10数据集上,使用8%的有标签数据表现接近
➡️

继续阅读