AutoLoRa:一种无需参数的自动化稳健微调框架
原文中文,约400字,阅读约需1分钟。发表于: 。在该论文中,我们揭示了现有 Robust Fine-Tuning 方法存在的问题,即通过特征提取器同时优化对抗目标和自然目标会导致梯度方向明显偏离,从而降低对抗鲁棒性,并使得 Robust Fine-Tuning 非常敏感于超参数。为了解决这个问题,我们提出了通过低秩支路将 Robust Fine-Tuning...
AutoLoRa是一种新方法,通过低秩支路将Robust Fine-Tuning分解为两个独立的部分来优化自然目标和对抗目标,并引入启发式策略来自动调整学习率和损失项的标量。实验结果表明,AutoLoRa在各种下游任务中取得了最新的最优结果,具有重要的实用性。