BriefGPT - AI 论文速递
·
非侵入式调整：面向输入的参数高效微调用于多模态建模
💡
原文中文，约500字，阅读约需1分钟。
📝
内容提要
本文研究了PEFT机制在PLMs中的安全风险，提出了一种新的攻击方式PETA，并探索了一种简单的防御方法。研究表明，PETA攻击在各种下游任务和触发器设计上都有效，防御方法是在选定层中省略PEFT并解冻参数子集，能够有效中和PETA。
🎯
关键要点
- 参数高效微调 (PEFT) 机制使预训练语言模型 (PLMs) 能够适应特定任务。
- PEFT 的安全风险尚未被充分探索，存在独特的脆弱性。
- 提出了一种新颖的攻击方式 PETA，通过双层优化适应下游任务。
- PETA 在各种下游任务和触发器设计上有效，攻击成功率高。
- 即使使用无污染数据进行 PEFT，PETA 仍然有效。
- 双层优化“正交化”了后门和 PEFT 模块，保留了后门。
- 探索了一种防御方法：在选定层中省略 PEFT，解冻参数子集。
- 该防御方法能够有效中和 PETA。
➡️
