本研究提出了一种基于隐喻的越狱攻击方法MJA,旨在解决文本到图像模型的安全漏洞。MJA通过生成隐喻式对抗提示,提高了攻击效果和查询效率,实验结果显示其在多种模型上表现良好。
该文综述大语言模型红队攻防研究,提出综合攻击框架与基于梯度的红队技术,可自动生成攻击提示并提升模型安全性;开发多轮自动红队方法MART及令牌级对抗提示检测;构建对抗评估数据集,测试模型在计算推理任务中的表现,并探索基于提示的对抗训练以增强鲁棒性。
大型语言模型易受越狱攻击,研究提出形式化分类、SmoothLLM防御、上下文互动攻击、多模态图像越狱提示、多语言语义保持攻击、表示工程越狱及说服性对抗提示等方法。这些攻击在GPT-3.5、GPT-4、LLaMA等模型上成功率超92%,且可跨模型迁移。防御方面,微调缓解可将攻击成功率降低96.2%,但现有防御仍存显著差距。
该文综述大语言模型提示攻击与防御研究,提出ReNeLLM等框架提升攻击成功率并降低成本,揭示现有防御不足;通过竞赛构建60万对抗提示数据集并分类;开发PromptAttack、TrojPrompt等方法评估安全风险,并探索自动提示优化与Prompt2Model小模型训练。
本文综述大语言模型越狱攻击与防御研究,涵盖:提出增强有害内容检测的自我保护方法且不损性能;揭示多语言越狱风险,自卫框架训练可减少不安全内容;测量越狱提示特征与策略;语义保持算法构建多语言数据集,微调缓解使攻击成功率降96.2%;发现指令动词影响越狱率;ReNeLLM框架提升攻击成功率;提出说服性对抗提示,攻击成功率超92%,现有防御不足;并提出语义防火墙实现自欺攻击。
该文综述大语言模型越狱攻击研究,涵盖ReNeLLM框架(提升攻击成功率并降低成本)、越狱提示特征与攻击策略的测量及现有防御不足的分析、提示类型与ChatGPT鲁棒性分析、黑盒查询少于20次的PAIR算法,以及多语言越狱、遗传算法优化对抗提示、人设调节攻击(GPT-4有害完成率42.5%)和树状攻击剪枝等自动生成方法。
该文综述大语言模型越狱提示研究:通过提示黑客竞赛构建60万对抗提示数据集并分类,测量越狱提示特征与攻击策略,评估现有防御不足;调查GPT-3.5等模型的越狱有效性并提出提示守卫;提出ReNeLLM提升攻击成功率;发现模型对提示格式变化高度敏感;分析破解提示模式与类别,ChatGPT在40类场景可绕过限制;提出SmoothLLM以随机扰动降低攻击成功率;并指出大模型易利用提示捷径。
本文提出了一种基于令牌级别检测方法来识别对抗提示的方法,利用大型语言模型的能力来预测下一个令牌的概率,测量模型的困惑度并结合相邻令牌信息,以鼓励检测连续的对抗提示序列,提出了两种方法:一种将每个令牌识别为是否属于对抗提示的一部分,另一种估计每个令牌属于对抗提示的概率。
完成下面两步后,将自动完成登录并继续当前操作。