安全对齐不应仅限于几个标记
内容提要
本研究探讨了开源大型语言模型（LLMs）的安全性，提出了“Shadow Alignment”概念，揭示了安全对齐在不同NLP任务中的差异及其漏洞。研究表明，微调可能降低模型的安全性，现有安全措施不足以应对新风险，强调了加强安全对齐的重要性。
延伸解读
安全对齐的脆弱性：微调带来的风险
文章指出，即使使用良性数据集对大型语言模型进行微调，也可能无意中降低其安全对齐性。这意味着当前的安全基础设施在用户获得微调权限时无法有效覆盖风险。对于依赖开源模型进行定制化开发的研究者和企业，需警惕微调过程可能引入的安全漏洞，并考虑在微调后重新评估模型的安全性。
任务差异与攻击转移：安全对齐的不均衡
研究发现，不同NLP任务的安全对齐存在显著差异，例如模型可能拒绝翻译恶意内容却愿意总结。攻击者可以利用安全对齐较弱的任务（如总结）来危及更稳健的任务（如翻译和问答）。这种漏洞在Llama2和GPT-4等模型中均存在，提示安全评估应覆盖多样化的任务场景，而非仅依赖单一任务的表现。
评估与改进：新框架与度量标准
文章介绍了多种评估和改进安全对齐的方法，如VISAGE安全度量标准、FAEF框架以及双状态优化解决方案。这些工具旨在量化微调对安全性的影响，并纠正性能估计偏差。应用FAEF框架发现，许多被视为安全的模型实际对齐程度不高，凸显了现有对齐方法的局限性，为未来研究提供了方向。
Q&A
什么是Shadow Alignment概念？
Shadow Alignment是一个新提出的概念，旨在揭示开源大型语言模型（LLMs）在安全对齐方面的差异及其漏洞。
微调如何影响大型语言模型的安全性？
研究表明，微调可能降低模型的安全性，现有的安全措施不足以应对新风险。
不同NLP任务的安全对齐有什么差异？
不同NLP任务的安全对齐存在显著差异，攻击可能利用安全对齐较弱的任务危及更稳健的任务。
研究中提出了哪些解决方案来提高安全对齐？
研究提出了双状态优化解决方案和FAEF框架，以提高对齐性能并保持用户任务的准确性。
什么是VISAGE安全度量标准？
VISAGE安全度量标准是一种新提出的标准，用于通过探测安全景观来衡量LLMs微调的安全性。
医学LLMs的安全评估结果如何？
研究首次对医学LLMs进行了安全评估，展示微调作为有效的缓解策略，以减少潜在风险。
