字符级对抗攻击的重新审视
内容提要
本文研究了深度学习系统中的对抗攻击，提出了多种攻击方法及防御策略。研究发现，PWWS攻击在文本分类中表现优异，新提出的字符级白盒攻击方法在成功率和编辑距离上优于以往方法。同时，探讨了人类生成对抗样本的有效性及其在自然语言处理中的应用。
延伸解读
攻击方法演进：从字符级到LLM驱动
文章梳理了对抗攻击的发展脉络：早期字符级白盒攻击通过拆分单词为子标记并替换，在成功率和编辑距离上优于以往方法；随后PWWS攻击在文本分类中表现突出；近期LLM-Attack利用大语言模型生成对抗样本，在人类和GPT-4评估中优于基线。这一演进显示攻击正从规则驱动转向模型驱动，但防御仍面临挑战。
人类与算法生成对抗样本的对比
文章通过众包实验发现，人类能生成大量语义保持的对抗样本，效率高于最佳算法，但在自然性、情感和语法方面并不优于算法。这表明算法在生成质量上已具备竞争力，但人类样本的多样性仍具参考价值。同时，无监督迭代方法与BERT掩码语言模型结合可达到与人类众包工人相当的效果。
防御评估的挑战与威胁模型扩展
文章指出，神经网络鲁棒性研究虽多但问题未解，并提出了改进鲁棒性评估和减少错误评估的先决条件。特别强调了面向开源模型的嵌入空间攻击作为可行威胁模型，以及利用API访问远程语言模型构建有害字符串的攻击在GPT-3.5和OpenAI安全分类器上的有效性。这提示防御需考虑更广泛的攻击面。
Q&A
什么是PWWS攻击，它的优势是什么？
PWWS攻击是一种生成文本分类对抗示例的方法，在多个评估场景中表现优异，具有更低的运行时间和更高的准确性。
字符级白盒对抗攻击方法的主要步骤是什么？
该方法主要包含选择最脆弱的单词、将其拆分成次标记，以及使用适当的替换次标记。
LLM-Attack的目的是什么，它的表现如何？
LLM-Attack旨在使用大型语言模型生成有效且自然的对抗性示例，实验结果显示其表现优于基线模型。
人类生成对抗样本的有效性如何？
人类生成的对抗样本在自然性、情感及语法方面的表现不如最佳算法，但在语义保持方面表现良好。
研究中提到的无监督迭代方法与BERT结合的效果如何？
无监督的迭代方法与BERT的掩码语言模型结合可以达到与人类众包工人相当的效果。
本文提出了哪些防御方法？
本文提出了多种防御方法，包括针对transformer模型的字符级白盒对抗攻击方法。
