FullLoRA-AT: 高效提升预训练视觉变换器的鲁棒性
原文中文,约400字,阅读约需1分钟。发表于: 。通过使用学习性的 LNLoRA 模块和 FullLoRA-AT 框架,本文提出了一种参数高效的对 Vision Transformer 模型进行对抗微调,以有效提高模型的鲁棒性。在 CIFAR-10,CIFAR-100 和 Imagenette 数据集上进行的广泛实验证明了本文方法的优越性。
该论文提出了通过低秩支路将现有的Robust Fine-Tuning方法分解为两个独立部分来优化自然目标和对抗目标的解决方案。实证评估表明该方法在各种下游任务中取得了最优结果,并具有实用性。