BriefGPT - AI 论文速递
·
冬小麦分割的 PEFT 技术实证研究
💡
原文中文，约500字，阅读约需1分钟。
📝
内容提要
本文研究了PEFT机制在PLMs中的安全风险，提出了一种新的攻击方式PETA，并探索了一种简单的防御方法。研究表明，PETA攻击在各种下游任务和触发器设计上都很有效，但可以通过省略PEFT并解冻选定层的参数子集来中和。
🎯
关键要点
- 参数高效微调 (PEFT) 机制使预训练语言模型 (PLMs) 能够适应特定任务。
- PEFT 的安全风险尚未被充分探索，存在独特的脆弱性。
- 本文提出了一种新颖的攻击方式 PETA，通过双层优化适应下游任务。
- PETA 在各种下游任务和触发器设计上表现出高攻击成功率和准确性。
- 即使使用无污染数据进行 PEFT，PETA 仍然有效。
- 双层优化使后门和 PEFT 模块正交化，从而保留后门。
- 探索了一种防御方法：省略 PEFT 并解冻选定层的参数子集，有效中和 PETA。
➡️
