本研究提出了一种改进的迁移攻击方法，解决了大型语言模型安全性研究中的越狱攻击不足。通过良性数据蒸馏，成功构建恶意提示，针对GPT-3.5 Turbo的攻击成功率高达92%，强调了防御机制的重要性。

HackAPrompt是全球首次Prompt Hacking竞赛，有超过3000名黑客参与，提交了60万条恶意提示。主办方分析了超过600,000个恶意代码，发现了18种常用的提示黑客技术。竞赛中，上下文溢出攻击被用来限制ChatGPT的输出长度。

本文介绍了一种具有可验证安全保证的消除-检查框架，用于抵御恶意提示。该技术能够防御三种攻击模式，并在保证处理安全提示性能的同时，提高了在有害提示上的安全保证指标。