Robustness Tokens: Enhancing Adversarial Robustness of Transformers

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种鲁棒性标签方法,以提升大型预训练变换器模型在对抗攻击中的鲁棒性。该方法通过微调少量私有标签,计算要求低于传统对抗训练,显著增强了视觉变换器模型的抗攻击能力,同时保持了下游任务的性能。

🎯

关键要点

  • 本研究提出了一种鲁棒性标签方法,以增强大型预训练变换器模型的对抗鲁棒性。
  • 该方法通过微调少量私有标签,计算要求低于传统对抗训练。
  • 研究结果表明,鲁棒性标签显著提高了视觉变换器模型对白盒对抗攻击的鲁棒性。
  • 该方法在提升鲁棒性的同时,保持了下游任务的性能。
➡️

继续阅读