论文提出PIPETTE框架,用于大语言模型智能体的提示注入紫队测试。作者指出,RL-Hammer和PISmith等强化学习红队方法存在模式崩溃,攻击成功率虽高,却无法提升对抗训练带来的鲁棒性。PIPETTE采用基于字典学习的奖励以扩大攻击策略覆盖,并结合面向间接提示注入防御的在线对抗训练。在AgentDojo和ASB基准上,防御后静态攻击成功率接近零,能抵御强自适应攻击,且正常任务效用接近未防御基线。
完成下面两步后,将自动完成登录并继续当前操作。