神经执行：针对提示注入攻击的学习（和对学习的利用）执行触发器
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本研究提出了ProAttack方法，通过提示实现干净标签的后门攻击，增强了隐蔽性。同时，探讨了提示注入攻击对大型语言模型的影响，提出了防御框架，并评估了多种模型的脆弱性。
🔎
延伸解读
提示注入攻击的威胁与分类
文章指出，提示注入是一种新兴攻击方式，开发人员与用户之间正展开猫鼠大战。文章提供了提示注入的分类，可作为开发LLM接口时的漏洞检查清单，并讨论了其对终端用户、开发者和研究者的影响。
ProAttack：利用提示本身作为触发器
ProAttack方法无需外部触发器，而是将提示本身作为触发器，实现干净标签的后门攻击。这种方法确保样本标签正确，从而提高了攻击的隐蔽性，对模型引入有针对性的漏洞。
Tensor Trust数据集与模型脆弱性
文章介绍了Tensor Trust数据集，包含超过126,000个注入攻击和46,000个防御示例，是最大的指令跟随LLM对抗示例数据集。基于该数据集创建的基准测试显示，许多模型对攻击策略脆弱，且部分策略在不同部署中具有普适性。
普适对抗触发器与防御框架
研究还探讨了普适对抗触发器，通过梯度导向搜索找到跨任务的短触发序列，即使输入无关也能分析模型全局行为。此外，文章提出了理解和设计提示注入攻击的一般框架，并基于10个LLM和7个任务进行了系统评估，同时提出了防御框架。
❓
Q&A
ProAttack方法的主要特点是什么？
ProAttack方法通过提示实现干净标签的后门攻击，增强了隐蔽性，且不需要外部触发器。
提示注入攻击对大型语言模型的影响是什么？
提示注入攻击可能导致模型输出失控，增加了用户和开发者之间的猫鼠大战。
研究中提供了哪些防御框架？
研究提出了针对提示注入攻击的防御框架，并评估了多种模型的脆弱性。
研究中提到的数据集包含哪些内容？
数据集包含126,000个注入攻击和46,000个防御示例，帮助研究者研究注入攻击。
提示注入攻击的分类有什么意义？
提示注入的分类可以指导未来的研究，并作为漏洞检查清单。
如何缓解Prompt-based learning模式的攻击？
研究提出了加入特定触发器的缓解方法，以降低Prompt-based learning模式的性能风险。
🏷️
