BriefGPT - AI 论文速递
·
AutoFT：通过 OOD 数据优化超参数进行稳健微调
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该论文揭示了Robust Fine-Tuning方法的问题，并提出了通过低秩支路分解为两个独立部分来优化自然目标和对抗目标的解决方案。实证评估表明该方法在各种下游任务中取得了最优结果，具有实用性。
🎯
关键要点
-
现有的Robust Fine-Tuning方法存在问题，导致对抗鲁棒性降低。
-
同时优化对抗目标和自然目标会使梯度方向偏离。
-
提出通过低秩支路将Robust Fine-Tuning分解为两个独立部分。
-
引入启发式策略自动调整学习率和损失项的标量。
-
实证评估表明AutoLoRa在各种下游任务中取得了最优结果。
-
AutoLoRa具有重要的实用性，可以自动转换预训练特征提取器为对抗鲁棒模型。
🏷️
