PRSA：大型语言模型的提示反窃取攻击
内容提要
本文综述大语言模型提示攻击与防御研究，涵盖提示窃取攻击（通过参数提取与提示重构窃取优质提示）、提示注入防御（签名提示）、攻击框架与数据集SAP、PromptAttack对预训练模型安全的探究、RPO梯度优化降低攻击成功率、DrAttack分解重构恶意提示（GPT-4成功率78%）、BIPIA基准及黑盒白盒防御、PromptInject对GPT-3的评估，以及后门攻击POISONPROMPT。
延伸解读
提示窃取攻击的威胁与实现
文章提出了一种新型提示窃取攻击，旨在基于生成的答案窃取设计良好的提示。该攻击通过参数提取器和提示重构器实现，实验结果表明其具有卓越性能。这引发了对大型语言模型安全问题的进一步关注，尤其是优质提示作为知识产权可能被窃取的风险。
防御策略：签名提示与RPO
针对提示注入攻击，文章介绍了“签名提示”防御方法，通过将敏感指令签名并由授权用户使用，使模型能辨别可信指令来源。此外，RPO（Robust Prompt Optimization）利用梯度优化降低对抗性攻击的成功率，并在黑盒模型中表现出良好的转移能力。这些防御策略为提升模型安全性提供了新思路。
攻击框架与基准评估
文章综述了多个攻击框架与基准，如SAP数据集用于训练和评估模型对红队攻击的安全性，PromptAttack探究预训练语言模型的安全性能，DrAttack通过分解重构恶意提示在GPT-4上达到78.0%的成功率。BIPIA基准则评估了间接提示注入攻击的防御，发现能力更强的模型更易受攻击，但白盒防御可将攻击成功率几乎降为零。
后门攻击与安全启示
文章还提及了基于提示的后门攻击POISONPROMPT，实验证明其在不同任务和语言模型上具有较高的有效性、保真度和鲁棒性。此外，PromptInject对GPT-3的评估发现手工输入攻击可利用其随机性导致风险。这些研究强调了大型语言模型安全威胁的多样性，以及持续研究防御方法的必要性。
Q&A
什么是提示反窃取攻击（prompt stealing attacks）？
提示反窃取攻击是一种新型攻击，旨在基于生成的答案窃取设计良好的提示，通过参数提取器和提示重构器实现，实验表明其具有卓越性能，引发对大型语言模型安全问题的关注。
如何防御提示注入攻击？
一种新颖的解决方案是“签名提示”，通过将敏感指令签名并由授权用户使用，使语言模型可以辨别可信指令来源。该方法通过提示工程和语言模型微调实现，实验证明对各种类型的快速注入攻击具有相当的抵抗能力。
DrAttack 攻击框架的效果如何？
DrAttack 是一种自动提示分解和重构框架，通过将恶意提示分解为子提示，并通过上下文学习和同义词搜索重新组装，有效模糊恶意意图。在多个开源和闭源大语言模型上，DrAttack 显著降低查询次数，仅使用 15 个查询时在 GPT-4 上获得 78.0% 的成功率，超过之前最佳攻击方法的 33.1%。
BIPIA 基准测试发现了什么？
BIPIA 是第一个评估不同大型语言模型对间接提示注入攻击鲁棒性和防御方法的基准。研究发现，具有更高能力的大型语言模型在文本任务中更容易受到间接提示注入攻击，导致 ASR 更高。基于此，提出了基于提示学习的四种黑盒方法和基于对抗训练的白盒防御方法，使大型语言模型能够区分指令和外部内容，并忽略外部内容中的指令。实验结果表明，黑盒防御方法可以有效降低 ASR，但无法完全阻止攻击，而白盒防御方法可以将 ASR 几乎降低到零，对一般任务性能影响较小。
PromptInject 对 GPT-3 的安全性评估结果是什么？
使用 PromptInject 对 GPT-3 进行安全性评估，发现针对 goal hijacking 和 prompt leaking 的手工输入攻击可以利用 GPT-3 的随机性，导致潜在的风险。
POISONPROMPT 是什么？
POISONPROMPT 是一种新型后门攻击方法，针对基于提示的大语言模型存在的后门安全威胁。实验证明，在不同的任务和语言模型上，POISONPROMPT 都具有较高的有效性、保真度和鲁棒性，强调了进一步研究这一领域的重要性。
