LipShiFT: A Certifiably Robust Shift-based Vision Transformer

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于Lipschitz连续的ShiftViT模型,解决了变换器架构在图像分类任务中的Lipschitz界限推导难题,并通过边距训练增强了模型的稳健性,推动了认证稳健性领域的新进展。

🎯

关键要点

  • 本研究提出了一种基于Lipschitz连续的ShiftViT模型。
  • 该模型解决了变换器架构在图像分类任务中的Lipschitz界限推导难题。
  • 在训练大输入和高维注意模块时,Lipschitz界限推导面临实际限制。
  • 通过边距训练,ShiftViT模型作为强正则化器增强了模型的稳健性。
  • 本研究推动了认证稳健性领域的新进展。
➡️

继续阅读