免疫有害微调攻击
内容提要
研究发现，微调大语言模型存在安全风险：少量恶意样本即可破坏其安全对齐，使其生成有害内容，甚至通过安全评估。为此，学者提出安全向量、Vaccine扰动感知对齐等方法，在微调中抵御有害嵌入漂移，同时保留模型有用能力，并呼吁加强微调安全协议研究。
延伸解读
微调安全风险的双重来源
文章指出，微调大语言模型的安全风险不仅来自恶意攻击者，也可能源于无意行为。红队研究发现，仅用少数恶意样本微调GPT-3.5 Turbo即可破坏其安全对齐；而即使使用良性且常用的数据集进行微调，也可能无意中降低模型的安全对齐性。这意味着，当前的安全基础设施在推理时能限制有害行为，却无法覆盖微调阶段引入的风险，用户自定义微调权限的扩大带来了新的安全挑战。
防御思路：从安全向量到Vaccine
针对微调攻击，学者提出了多种防御方法。安全向量方法在微调时激活，使模型产生一致性响应，防止学习有害行为，且100个有害样本生成的安全向量足以抵御1000个有害样本的学习。Vaccine技术则在对齐阶段逐步添加扰动，产生不变的隐藏嵌入，从而抵御微调阶段用户数据带来的有害扰动。这些方法旨在保持模型有用能力的同时，增强对有害嵌入漂移的鲁棒性。
隐私与安全评估的交叉风险
文章还揭示了微调带来的隐私风险：攻击者仅需少量用户样本和黑盒访问，就能推断用户数据是否被用于微调。限制单个用户的微调样本数量可减少攻击效果，但会降低微调数据总量。此外，背门注入等攻击可绕过安全评估，使模型在通过评估的同时保持非对齐行为。这些发现表明，微调安全协议需同时考虑对齐破坏、隐私泄露和评估规避等多重威胁。
Q&A
微调大语言模型会带来哪些安全风险？
微调大语言模型可能破坏其安全对齐，使其生成有害内容，甚至通过安全评估。具体风险包括：少量恶意样本即可危及安全对齐；即使使用良性数据集微调，也可能无意中降低安全对齐性；此外，微调后的模型还可能面临用户推测攻击的隐私风险。
什么是安全向量？它如何防止大语言模型学习有害行为？
安全向量是一种在微调过程中激活的向量，它使大语言模型产生一致性响应，从而防止其学习有害行为。在推断过程中，可以关闭安全向量以恢复正常行为。实验表明，使用100个有害样本生成的安全向量足以防止模型学习1000个有害样本，同时保留学习其他有用信息的能力。
Vaccine扰动感知对齐技术是如何工作的？
Vaccine是一种扰动感知对齐技术，旨在减轻用户微调的安全风险。其核心思想是在对齐阶段逐步添加精心设计的扰动，产生不变的隐藏嵌入，使嵌入能够抵御微调阶段未消毒的用户数据带来的有害扰动。实验表明，Vaccine可以增强模型对抗由有害提示引起的嵌入漂移，同时保留对良性提示的推理能力。
为什么现有的安全对齐基础设施无法覆盖微调带来的安全风险？
现有的安全对齐基础设施可以在推理时限制大语言模型的有害行为，但当微调权限扩展给最终用户时，它们无法覆盖安全风险。红队研究发现，只需使用少数恶意设计的训练样例对GPT-3.5 Turbo进行微调，就可能危及安全对齐性；即使使用良性数据集微调，也可能无意中降低安全对齐性。这表明当前的安全基础设施无法很好地解决这些新风险。
微调大语言模型是否存在隐私风险？
是的，研究表明，通过对用户数据进行微调的大语言模型存在用户推测攻击的隐私风险。攻击者可以通过仅需少量用户样本和黑盒访问微调后的模型，来推断用户的数据是否被用于微调。通过限制单个用户的微调样本数量可以减少攻击效果，但也会降低微调数据总量。
有哪些方法可以减轻微调大语言模型的安全风险？
文章提到了几种方法：1）安全向量：在微调过程中激活安全向量，使模型产生一致性响应，防止学习有害行为；2）Vaccine扰动感知对齐：在对齐阶段添加扰动，产生不变的隐藏嵌入，抵御有害扰动；3）使用语言模型验证内容，过滤有害回应；4）将错误分析转化为对齐策略，将有害回应转化为指令调整语料库，训练模型自我批评。此外，文章呼吁进一步研究微调安全协议。
