基于查询的对抗性提示生成
内容提要
该文综述大语言模型对抗攻击研究，涵盖利用贪婪与梯度搜索生成可转移的对抗后缀、通过语义保持替换构造人类对抗样本，以及GPT-3、BERT等模型的安全漏洞；并提出生成对抗网络搜索自然对抗样本、erase-and-check防御框架、PromptInject评估、AttaQ数据集和基于人口统计的决策式攻击等方法，揭示模型脆弱性并推动安全改进。
延伸解读
对抗攻击的演进与可转移性
文章梳理了从2017年到2024年对抗攻击研究的演进。早期工作如基于生成对抗网络搜索自然对抗样本，主要针对图像分类等任务；而近期研究则聚焦于大语言模型，如通过贪婪和梯度搜索自动生成对抗后缀，并发现这些后缀具有可转移性，能攻击多种公开对齐模型。这揭示了模型安全漏洞的普遍性，也推动了防御框架如erase-and-check的发展。
人类与算法对抗样本的对比
文章提到一项 crowdsourcing 实验，发现人类可以通过语义保持的词汇替换生成大量对抗样本。虽然人类生成的样本比最佳算法更高效，但在自然性、情感及语法方面的表现并不优于算法。这表明人类直觉在攻击效率上有优势，但算法在质量上可能更稳定，为设计混合攻击策略提供了参考。
防御与评估框架的进展
针对对抗攻击，文章介绍了erase-and-check防御框架，通过逐个擦除token并检查子序列来标记有害提示，能防御三种攻击模式。同时，PromptInject评估和AttaQ数据集等工具被用于系统评估模型脆弱性，如goal hijacking和prompt leaking攻击。这些工作不仅揭示了风险，也为模型安全改进提供了可量化的指标。
攻击策略的多样化与优化
文章还涵盖了基于人口统计的决策式攻击策略，该策略仅观察目标模型预测的前一标签，就能制作出可信且语义相似的对抗例子，在高度限制下成功率更高且替换单词比例更低。此外，利用目标模型输出和数据可同时提高攻击率和查询率，且附加查询开销有限。这些方法展示了攻击者在资源受限下的优化能力。
Q&A
什么是对抗性后缀攻击？它如何影响对齐语言模型？
对抗性后缀攻击是通过贪婪和基于梯度的搜索技术自动生成敌对性后缀，以攻击对齐语言模型。这种攻击具有可转移性，可应用于各种公开发布的对齐语言模型，从而引发如何防止生成不良信息的重要问题。
人类生成的对抗样本与算法生成的相比有何特点？
通过众包实验发现，人类可以通过语义保持的词汇替换生成大量对抗样本。这些人类生成的对抗样本比最好的算法更高效，但在自然性、情感及语法方面的表现并不高于最佳算法。
GPT-3和BERT等预训练语言模型存在哪些安全漏洞？
GPT-3和BERT等预训练语言模型存在安全漏洞，容易受到对抗性攻击的影响。研究提出了一种有效的对抗方法来测试模型的语义相似性并减少其分类质量。
erase-and-check框架是如何防御恶意提示的？
erase-and-check框架通过逐个擦除token并使用安全过滤器检查得到的子序列，如果安全过滤器检测到任何子序列或输入提示本身存在有害部分，则将输入提示标记为有害。该技术能防御三种攻击模式，在保证处理安全提示性能的同时，显著提高有害提示上的安全保证指标。
PromptInject如何评估GPT-3的安全性？发现了哪些风险？
使用PromptInject对GPT-3进行安全性评估，发现针对goal hijacking和prompt leaking的手工输入攻击可以利用GPT-3的随机性，导致潜在的风险。
AttaQ数据集是什么？它如何帮助评估模型脆弱性？
AttaQ是一个包含对抗例子（以问题形式）的独特数据集，用于评估各种模型在其面前的脆弱性。通过应用专业的聚类技术自动识别和命名脆弱的语义区域，以增强对模型弱点的评估，从而促进其安全机制和整体可靠性的有针对性改进。
