TransTroj: 通过嵌入不可区分性实现对预训练模型的可迁移后门攻击

本文研究了参数高效微调（PEFT）机制在特洛伊攻击中的脆弱性。通过新的攻击方式PETA，即使在使用无污染数据对被植入后门的预训练语言模型（PLM）进行PEFT后，攻击仍然有效。研究还提出了一种简单的防御方法，即省略PEFT并解冻被植入后门的PLM的选定层，能够有效中和PETA。