本研究探讨了大语言模型(LLM)在提示攻击防御中的动态性及合法用户可用性影响。提出D-SEC模型,通过“甘道夫”平台生成自适应攻击数据,发现集成防御机制可能降低用户体验,同时限制应用领域,影响自适应防御策略在保障安全的同时保持LLM的实用性。
本文综述大语言模型提示攻击与防御研究,涵盖提示窃取攻击(通过参数提取与提示重构窃取优质提示)、提示注入防御(签名提示)、攻击框架与数据集SAP、PromptAttack对预训练模型安全的探究、RPO梯度优化降低攻击成功率、DrAttack分解重构恶意提示(GPT-4成功率78%)、BIPIA基准及黑盒白盒防御、PromptInject对GPT-3的评估,以及后门攻击POISONPROMPT。
该文综述大语言模型提示攻击与防御研究,提出ReNeLLM等框架提升攻击成功率并降低成本,揭示现有防御不足;通过竞赛构建60万对抗提示数据集并分类;开发PromptAttack、TrojPrompt等方法评估安全风险,并探索自动提示优化与Prompt2Model小模型训练。
完成下面两步后,将自动完成登录并继续当前操作。