该文章介绍了一种综合方法,通过手动和自动方法生成攻击提示,用于训练语言模型并模仿人类生成的提示。实验证实了攻击和防御框架的有效性,并发布了攻击提示数据集(SAP)。
该文介绍了一种攻击框架,通过手动和自动方法生成攻击提示,训练大型语言模型并模仿人类生成的提示,增强受攻击模型对红队攻击的安全性。在不同的大型语言模型上进行广泛实验证实了攻击和防御框架的有效性,并发布了一系列攻击提示数据集(SAP)。
该文介绍了SurrogatePrompt框架,可自动扩展攻击提示的创建。成功展示了对Midjourney的首个prompt攻击,并建议通过替换可疑提示中的高风险部分来规避闭源安全措施。攻击提示下,绕过Midjourney的专有安全过滤器的成功率达到88%,导致生成描绘政治人物处于暴力情境中的冒牌图像。主观和客观评估均验证了攻击提示生成的图像存在相当大的安全风险。
完成下面两步后,将自动完成登录并继续当前操作。