安全微调的因果研究：成效与障碍
内容提要
本文探讨了大型语言模型（LLMs）在遵循指示时的安全性问题，指出即使使用良性数据集进行微调也可能降低安全性。提出了新的安全度量标准，并强调系统提示在保护模型中的重要性。建议在发布模型权重时，将微调风险评估纳入核心部分，以增强模型的安全性。
延伸解读
微调安全风险的双重来源
文章指出，微调对齐后的大语言模型会引入新的安全风险，且当前安全基础设施无法覆盖。风险不仅来自恶意设计的训练样例，即使使用良性且常用的数据集进行微调，也可能无意中降低模型的安全对齐性。这意味着模型发布后，任何下游微调都可能成为安全漏洞的入口，而不仅仅是恶意攻击者的行为。
安全与帮助性的权衡
研究发现，仅增加3%的安全示例就能显著提升模型安全性，且不会明显损害模型能力或帮助性。但过度安全调优会导致模型拒绝合理提示，形成夸大的安全行为。这揭示了训练LLM遵循指示并展示安全行为之间存在权衡，安全调优需要把握尺度，避免因过度拒绝而影响正常使用。
VISAGE度量与系统提示的作用
文章提出VISAGE安全度量标准，通过探测安全景观来衡量微调安全性，并发现模型参数空间中存在“安全盆地”现象。系统提示在保护模型中起关键作用，其保护效果可通过安全盆地内的扰动变体传递。这为评估和增强模型安全性提供了新的量化工具和干预思路。
缓解策略与未来方向
文章概述了多种缓解策略，包括引入安全向量、双向锚定方法、子空间导向模型融合等，并主张在发布模型权重时将微调风险评估作为核心部分。同时指出当前安全对齐是“浅安全对齐”，容易受到对抗性后缀、填充、解码参数和微调攻击，未来安全对齐应超越前几个标记而更加深入。
Q&A
大型语言模型的微调如何影响其安全性？
微调大型语言模型时，即使使用良性数据集，也可能无意中降低其安全性，增加生成有害内容的风险。
什么是VISAGE安全度量标准？
VISAGE是一种新的安全度量标准，用于通过探测安全景观来衡量大型语言模型微调的安全性。
如何提高大型语言模型的安全性？
增加安全示例可以显著提高模型的安全性，但过度安全调优可能导致模型拒绝合理提示。
微调风险评估在模型发布中的重要性是什么？
在发布模型权重时，将微调风险评估纳入核心部分可以增强模型的安全性，防止潜在的安全风险。
安全向量在微调中的作用是什么？
安全向量可以防止大型语言模型学习有害行为，同时保持其他有用信息的学习能力。
当前大型语言模型面临哪些安全风险？
当前大型语言模型面临生成有害内容的风险，并且容易受到恶意攻击，尤其是在微调时。
