内容提要
论文提出PIPETTE框架,用于大语言模型智能体的提示注入紫队测试。作者指出,RL-Hammer和PISmith等强化学习红队方法存在模式崩溃,攻击成功率虽高,却无法提升对抗训练带来的鲁棒性。PIPETTE采用基于字典学习的奖励以扩大攻击策略覆盖,并结合面向间接提示注入防御的在线对抗训练。在AgentDojo和ASB基准上,防御后静态攻击成功率接近零,能抵御强自适应攻击,且正常任务效用接近未防御基线。
延伸解读
高攻击成功率不等于高鲁棒性
论文指出,RL-Hammer和PISmith等强化学习红队方法虽然能获得很高的攻击成功率,但存在模式崩溃问题:它们反复发现相似的攻击策略,这些额外成功对对抗训练带来的鲁棒性提升没有帮助。这意味着,评估红队效果时不能只看攻击成功率,还要看攻击策略的多样性,否则防御方可能被虚假的安全感误导。
字典学习奖励扩大攻击策略覆盖
PIPETTE的核心改进是用基于字典学习的奖励来引导红队探索更广泛的攻击策略,而不是像以往方法那样集中在少数有效模式上。更广的策略覆盖能让后续对抗训练接触到更多样的攻击样本,从而把红队发现真正转化为防御能力的提升,而不是停留在重复同类攻击。
在线对抗训练兼顾防御与任务效用
PIPETTE还集成了面向间接提示注入防御的在线对抗训练流程,使智能体在学习抵御攻击的同时仍能完成合法用户任务。在AgentDojo和ASB基准上,防御后静态攻击成功率接近零,并能抵御强自适应攻击,正常任务效用接近未防御基线,说明防御不必以大幅牺牲可用性为代价。
紫队思路连接攻防两端
论文将红队发现与防御加固放在同一框架中,呼应网络安全中的紫队协作理念。对模型开发者而言,这意味着内部红队测试的价值应以其能否带来可测量的鲁棒性增益来衡量,而非仅以攻击成功率作为指标;PIPETTE提供了一种把攻击发现系统性地转化为防御改进的参考路径。
Q&A
PIPETTE 是什么?它主要解决什么问题?
PIPETTE 是一个统一的提示注入紫队测试框架,旨在将红队测试发现的攻击有效转化为防御者鲁棒性的提升。它主要解决现有强化学习红队方法(如 RL-Hammer 和 PISmith)因模式崩溃而无法通过对抗训练带来鲁棒性增益的问题。
为什么现有的强化学习红队方法(如 RL-Hammer 和 PISmith)无法提升智能体的鲁棒性?
这些方法存在模式崩溃问题,会反复发现相似的攻击策略,导致攻击成功率虽高,但额外的成功攻击无法为对抗训练带来进一步的鲁棒性提升。
PIPETTE 如何扩大红队测试中攻击策略的覆盖范围?
PIPETTE 采用基于字典学习的奖励机制,鼓励在红队测试过程中探索更广泛的攻击策略,从而避免模式崩溃,增加攻击策略的多样性。
PIPETTE 如何将红队发现的攻击转化为防御鲁棒性?
PIPETTE 集成了一个针对间接提示注入防御的在线对抗训练流程,利用红队测试中发现的攻击策略对智能体进行对抗训练,使其在完成合法用户任务的同时能够抵御攻击。
PIPETTE 在哪些基准上进行了评估?效果如何?
PIPETTE 在 AgentDojo 和 ASB 两个智能体基准上进行了评估。结果表明,经过防御训练的智能体在静态攻击上的攻击成功率接近零,能够抵御强自适应攻击,同时正常任务效用接近未防御基线。
PIPETTE 中的“紫队测试”是什么意思?
紫队测试是网络安全中的概念,指红队(攻击方)和蓝队(防御方)协作的过程。在 PIPETTE 中,模型开发者利用内部红队测试发现的攻击来通过对抗训练加固智能体,从而在部署前提升其安全性。