LinkPrompt：基于提示的语言模型的自然且通用的对抗攻击
内容提要
本文探讨了恶意提示模板构造方法（PromptAttack）在预训练语言模型中的安全性，验证了其有效性，并提出了多种对抗攻击技术和防御策略，旨在提升自然语言处理模型的安全性和性能。
延伸解读
提示学习的安全隐患
文章指出，基于提示的预训练语言模型存在普适漏洞，攻击者可通过特定触发器完全控制模型性能。这种漏洞不仅影响手动模板，也波及自动生成的提示，使得模型在少量样本情境下也易受攻击。这提醒研究者和开发者，在利用提示学习提升性能的同时，必须重视其潜在的安全风险。
攻击与防御的博弈
文章介绍了多种对抗攻击技术，如PromptAttack、ProAttack和TrojPrompt，这些方法在黑盒场景下能有效攻击模型，甚至插入后门。同时，文章也提出了基于令牌级别检测的防御方法，利用大语言模型预测下一个令牌的概率来识别对抗提示。这种攻防博弈表明，安全防护需要持续更新以应对不断演变的攻击手段。
实际应用中的风险
文章提到，针对GPT-3等模型的提示注入攻击可利用其随机性导致目标劫持和提示泄露，而基于API的预训练语言模型也可能被植入木马。这些风险在现实应用中可能造成严重后果，如模型行为被恶意操控或敏感信息泄露。因此，在部署基于提示学习的模型时，需进行严格的安全评估和监控。
Q&A
什么是PromptAttack方法？
PromptAttack是一种恶意提示模板构造方法，用于探究预训练语言模型的安全性能。
PromptAttack方法的有效性如何验证？
通过对三个数据集和三个预训练语言模型进行广泛实验，验证了PromptAttack方法的有效性。
研究中提出了哪些新型对抗攻击技术？
研究提出了恶意Prompt构建、对抗样本生成和Prompt-based对抗训练等新型对抗攻击技术。
Prompt-based learning模式存在哪些漏洞？
发现Prompt-based learning模式的普适漏洞，特定触发器可以完全控制和降低其性能。
如何检测对抗提示？
提出了一种基于令牌级别检测的方法，利用大型语言模型预测下一个令牌的概率来识别对抗提示。
TrojPrompt框架的目的是什么？
TrojPrompt框架旨在解决基于Prompt学习的预训练语言模型API的后门攻击问题。
