AutoLoRa:一种无需参数的自动化稳健微调框架

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

AutoLoRa是一种新方法,通过低秩支路将Robust Fine-Tuning分解为两个独立的部分来优化自然目标和对抗目标,并引入启发式策略来自动调整学习率和损失项的标量。实验结果表明,AutoLoRa在各种下游任务中取得了最新的最优结果,具有重要的实用性。

🏷️

标签

➡️

继续阅读