对抗性对比解码:通过对立提示优化提高大型语言模型的安全对齐

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

本研究提出了一种反向提示对比解码(ROSE)方法,显著提升大型语言模型(LLMs)的安全性和通用能力。该方法通过增强生成过程中的上下文基础,且无需额外训练。研究还引入了消除-检查框架和自对比解码策略,增强了模型对有害提示的防御能力,实验证明其在安全性和生成质量上优于现有方法。

🔎

延伸解读

无需训练的安全增强路径

ROSE方法在推理阶段直接应用,无需额外训练或微调,这降低了部署成本,并避免了训练可能带来的通用能力损失。文章指出其安全分数最高提升13.8%,同时增强通用能力,表明安全与效用可以兼顾。对于资源有限或需快速迭代的团队,这种即插即用的方案具有较高实用价值。

模型内部捷径与过度关注问题

研究发现模型处理安全性时存在内部捷径:强调安全性的提示会加剧对有害单词的过度关注,导致误判。Self-CD策略通过自对比解码缓解该现象,平均拒绝率减少20%且几乎不影响安全性。这提示我们,单纯强化安全提示可能适得其反,需关注模型注意力分配。

可验证安全保证的防御框架

消除-检查框架通过逐个擦除token并检查子序列,为抵御恶意提示提供了可验证的安全保证。它能防御三种攻击模式,并在保证安全提示处理性能的同时,显著提升有害提示的安全指标。这种基于子序列检查的思路,为安全防御提供了新方向,但可能增加计算开销。

对齐方法的对比与演进

文章提及DeAL、RLCD等多种对齐方法。DeAL通过自定义奖励函数和解码时对齐弥补训练缺陷;RLCD利用对比蒸馏强化学习,在无害性、有帮助性和故事大纲生成任务上优于RLAIF和上下文蒸馏。这些方法减少了对人工标注的依赖,但模拟偏好数据的质量仍是关键挑战。

❓

Q&A

反向提示对比解码(ROSE)方法的主要优势是什么?

ROSE方法显著提升大型语言模型的安全性,最高可达13.8%的安全分数,并增强了模型的通用能力。

ROSE方法是如何增强生成过程中的上下文基础的?

该方法利用对抗性无关信息作为负样本,通过对比解码增强生成过程中的上下文基础,无需额外训练。

消除-检查框架的作用是什么?

消除-检查框架通过逐个擦除token并使用安全过滤器检查子序列,以抵御恶意提示并提高对有害提示的防御能力。

DeAL框架如何改善大型语言模型的对齐目标?

DeAL框架通过自定义奖励函数和解码时对齐,弥补模型训练中的缺陷,超越传统的RLHF方法。

对比蒸馏强化学习(RLCD)方法的优势是什么?

RLCD方法在多个对齐任务上优于现有对照组,能够有效提升大型语言模型的推理能力,且无需人工反馈。

研究发现模型内部存在什么问题?

研究发现模型内部存在捷径,强调安全性提示会加剧对有害单词的过度关注。

🏷️

标签

➡️

继续阅读