LipShiFT: A Certifiably Robust Shift-based Vision Transformer
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种基于Lipschitz连续的ShiftViT模型,解决了变换器架构在图像分类任务中的Lipschitz界限推导难题,并通过边距训练增强了模型的稳健性,推动了认证稳健性领域的新进展。
🎯
关键要点
- 本研究提出了一种基于Lipschitz连续的ShiftViT模型。
- 该模型解决了变换器架构在图像分类任务中的Lipschitz界限推导难题。
- 在训练大输入和高维注意模块时,Lipschitz界限推导面临实际限制。
- 通过边距训练,ShiftViT模型作为强正则化器增强了模型的稳健性。
- 本研究推动了认证稳健性领域的新进展。
🏷️
标签
➡️