单字扰动破坏 LLM 对齐
内容提要
该研究探讨了开源大型语言模型（LLM）的敌对攻击方法，发现嵌入空间攻击能有效触发危险行为，并提出了新的威胁模型。研究表明，提示构建对模型决策有显著影响，微小变化也能改变输出。呼吁在发布前进行全面测试，以提高模型的安全性和对齐性。
延伸解读
提示格式的微小变化为何能颠覆模型输出
文章指出，即使是在提示末尾添加一个空格这样的最小扰动，也可能导致大型语言模型改变回答。这种敏感性在模型规模增大、样本增多或进行指令调整后依然存在。这意味着，在实际应用中，用户或开发者无意中的格式变动，就可能让模型输出偏离预期，甚至触发不安全内容。因此，在评估模型时，不能只关注语义层面的输入，还需考虑格式细节对决策的潜在影响。
嵌入空间攻击：更高效的威胁与信息提取风险
研究显示，利用嵌入空间进行攻击可以更高效地触发危险行为，并且这种攻击能够从正在学习或删除信息的模型中提取已删除的内容。这揭示了一种新的威胁模型：攻击者可能通过嵌入空间操作，绕过传统对齐机制，获取本应被遗忘的信息。对于开源模型而言，这意味着仅靠删除数据或简单对齐，可能不足以防止敏感信息泄露。
对齐方法的局限与红队测试的必要性
文章质疑仅依赖复杂对齐方法的有效性，指出模型在对抗性攻击下依然脆弱。例如，通过改变文本生成策略，攻击方法能使11种语言模型的对齐率从0%提升到95%以上，说明攻击可以轻易操纵对齐表现。因此，研究呼吁在发布开源大语言模型前进行更全面的红队测试，并探索更好的对齐方式，以应对不断演变的攻击手段。
输出日志滥用与模型审问：对齐破坏的新途径
文章提到，模型输出日志的滥用可能破坏伦理标准与人类价值的对齐。提出的模型审问方法能揭示隐藏在输出日志中的有害回复，有效性达92%，速度快10到20倍，且适用于编码任务。这表明，即使模型表面输出正常，其日志中也可能隐藏有害内容，攻击者可能利用这一点进行对齐破坏。因此，监控和审查输出日志成为安全防护的重要环节。
Q&A
什么是嵌入空间攻击，它如何影响大型语言模型？
嵌入空间攻击是一种敌对攻击方法，可以有效触发大型语言模型的危险行为，甚至从学习和删除的模型中提取已删除信息。
提示构建方式对大型语言模型的决策有什么影响？
提示构建方式对模型决策有显著影响，微小的变化，如添加空格，可能导致模型输出的改变。
研究中提出的模型审问方法的有效性如何？
提出的模型审问方法有效性达到92%，能够揭示输出日志中的有害回复。
研究中提到的对抗性攻击的分类有哪些？
对抗性攻击的分类包括误导、模型控制、服务拒绝和数据提取等，研究对这些攻击进行了系统化分析。
为什么在发布大型语言模型之前需要进行红队测试？
在发布之前进行红队测试可以提高模型的安全性和对齐性，减少潜在的滥用风险。
研究中提出的新攻击方法是什么，它的效果如何？
研究提出了一种新的生成利用攻击方法，成功将11种语言模型的对齐率从0%提高到超过95%。
