针对参数效率微调的权重污染后门攻击的防御
内容提要
本文揭示参数高效微调（PEFT）对特洛伊攻击存在独特脆弱性，提出双层优化攻击方法PETA，可在用户用干净数据微调后仍保留后门，并给出“正交化”理论解释。防御上，省略部分层PEFT并解冻参数子集可有效中和该攻击。
延伸解读
PEFT 安全风险的新视角
本文通过初步研究揭示，参数高效微调（PEFT）对特洛伊攻击存在独特脆弱性。与全参数微调不同，PEFT 在适配下游任务时可能无法消除预训练模型中植入的后门，即使受害者使用干净数据微调，后门仍可能保留。这提醒研究者和开发者，PEFT 在提升效率的同时，可能引入新的安全盲区，需在部署前评估模型是否被植入后门。
PETA 攻击的机制与持久性
作者提出基于双层优化的攻击方法 PETA，通过正交化后门与 PEFT 模块，使后门在 PEFT 过程中不被破坏。实验表明，PETA 在多种下游任务和触发器设计上均能保持高攻击成功率，且不影响干净数据的准确率。这意味着攻击者可以预先污染预训练权重，而受害者后续的 PEFT 微调无法消除威胁，凸显了权重污染攻击的隐蔽性和持久性。
简单防御策略的有效性
基于对 PETA 机制的理解，作者探索了一种简单防御：在选定层中省略 PEFT，并解冻这些层的参数子集。结果表明，这种方法能有效中和 PETA 攻击。这为防御权重污染后门提供了新思路，即通过调整 PEFT 的应用范围和解冻策略，破坏后门与 PEFT 模块的正交关系，从而在微调阶段消除后门。
Q&A
PETA攻击是什么？它如何对参数高效微调（PEFT）模型构成威胁？
PETA是一种针对参数高效微调（PEFT）的新型后门攻击方法。它通过双层优化来适应下游任务，在预训练语言模型中植入后门。即使受害用户使用干净数据对模型进行PEFT，后门仍然保留，导致攻击成功率高且不影响模型在干净数据上的准确性。
为什么PEFT模型容易受到后门攻击？
PEFT机制虽然能高效地将预训练语言模型适应特定任务，但其安全风险尚未被充分探索。研究表明，PEFT对特洛伊攻击存在独特的脆弱性，攻击者可以通过双层优化在PEFT过程中保留后门，即使后续使用干净数据微调也无法消除。
如何防御PETA后门攻击？
一种简单的防御方法是在被植入后门的预训练语言模型的选定层中省略PEFT，并解冻这些层的参数子集。实验表明，这种方法能够有效中和PETA攻击。
PETA攻击背后的理论解释是什么？
PETA攻击的有效性可以通过“正交化”理论来解释：双层优化本质上将后门和PEFT模块正交化，从而在PEFT过程中保留了后门。这种正交化使得后门在微调后仍然存在。
PETA攻击在哪些任务上进行了评估？效果如何？
PETA攻击在各种下游任务和触发器设计上进行了广泛评估。结果表明，PETA在攻击成功率和未受影响的纯净准确性方面均有效，即使受害用户使用无污染数据对模型进行PEFT后仍然有效。
PEFT在医学图像分析中的应用效果如何？
一项全面评估研究了16种不同的PEFT方法在医学图像分析任务中的适用性，通过超过600个控制实验，发现PEFT在某些情况下能带来高达22%的性能提升，证明了PEFT在医学图像识别和文本到图像生成中的实际应用价值。
