大型语言模型是少样本生成器：提出混合提示算法生成 Webshell 逃逸样本
内容提要
该文综述大语言模型提示攻击与防御研究，提出ReNeLLM等框架提升攻击成功率并降低成本，揭示现有防御不足；通过竞赛构建60万对抗提示数据集并分类；开发PromptAttack、TrojPrompt等方法评估安全风险，并探索自动提示优化与Prompt2Model小模型训练。
延伸解读
攻击与防御的博弈现状
文章指出，当前防御方法在保护大型语言模型方面存在不足，并从提示执行优先级的角度进行了分析。ReNeLLM等框架提升了攻击成功率并降低了时间成本，而防御研究如SAP数据集和红队攻击框架则试图增强模型安全性。这反映了攻防双方在持续对抗，防御策略需不断更新以应对新攻击。
大规模对抗提示数据集的价值
通过全球prompt黑客竞赛，研究构建了包含60万对抗提示的数据集，并对敌对提示类型进行了综合分类。这一数据集为评估和增强大型语言模型的安全性提供了重要资源，有助于系统化地研究攻击模式，推动更稳健的防御机制发展。
自动提示优化与小模型训练
文章探讨了自动长提示工程算法，如贪婪算法和遗传算法，在Big Bench Hard任务中实现了平均9.2%的准确度提升。同时，Prompt2Model方法能用少量提示训练出体积小700倍的特定模型。这些技术表明，自动化提示设计和小型专用模型是提升LLM应用效率的可行方向。
Q&A
ReNeLLM 框架的主要目标是什么？
ReNeLLM 框架旨在基于自动生成的破解提示，提高大型语言模型的攻击成功率，同时降低时间成本。
PromptAttack 方法在哪些方面进行了实验验证？
PromptAttack 方法在三个数据集和三个预训练语言模型上进行了广泛实验，证明了其有效性，并验证了在少量样本情境下的适用性。
TrojPrompt 框架解决了什么问题？
TrojPrompt 框架针对基于 Prompt 学习的预训练语言模型 API 的安全问题，解决了现有的后门攻击问题，并在现实世界的黑盒 API 中成功插入木马，同时保持出色性能。
Prompt2Model 方法有什么优势？
Prompt2Model 方法可以使用少量的提示，训练出性能优异、体积小 700 倍的特定目的模型，用于自然语言处理任务。
自动长提示工程算法在哪些任务上取得了提升？
自动长提示工程算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升。
全球 prompt 黑客竞赛提供了什么样的数据集？
全球 prompt 黑客竞赛提供了对三种最先进的大规模语言模型进行的 600K+ 对抗性 prompt 的数据集，并提出了对敌对 prompt 类型的综合分类本体论。
