无过度：通过安全意识激活引导减轻大语言模型的夸大安全
内容提要
本文提出了一种可验证安全的消除-检查框架（FAEF），旨在抵御恶意提示。研究表明，微调大型语言模型（LLMs）可能引入新的安全风险，现有的安全对齐措施无法有效应对。通过FAEF框架和新指标评估LLMs的安全性，发现其对齐程度不足。文章还提出后安全对齐方法，以提升安全性和实用性，强调系统提示在保护模型中的重要性。
延伸解读
微调带来的安全风险
文章指出，对大型语言模型进行微调可能引入新的安全风险。即使使用良性数据集进行微调，也可能无意中降低模型的安全对齐性。而现有的安全对齐措施在推理时能限制有害行为，却无法覆盖微调带来的风险。这意味着，当微调权限开放给最终用户时，模型的安全性可能被削弱，需要新的安全协议来应对。
评估安全性的新指标
为了更准确地评估大型语言模型的安全性，文章引入了FAEF框架和两个新指标：Consistency Score (CS)和Consistent Safety Score (CSS)。应用这些指标对14个广泛使用的模型进行评估后，发现它们虽然被视为安全模型，但实际对齐程度并不高。这表明现有的安全对齐方法存在局限性，需要更全面的评估和纠正。
后安全对齐方法
针对大型语言模型中脆弱和不平衡的安全机制，文章提出了后安全对齐（PSA）方法。该方法旨在提升安全性、减轻过度安全性，并在保持实用性的同时无缝集成到目标模型中。实验表明，PSA不仅实现了更全面和高效的后安全对齐，还增强了骨干模型的实用性，优化了有用性和无害性之间的平衡。
系统提示与安全景观
文章通过测量和可视化大型语言模型的安全景观，发现了一种称为“安全盆地”的普遍现象。安全景观还突出了系统提示在保护模型中的关键作用，这种保护通过其在安全盆地内的扰动变体进行传递。这些发现为未来研究大型语言模型的安全性提供了新的见解，并强调了系统提示在模型保护中的重要性。
Q&A
FAEF框架的主要功能是什么？
FAEF框架旨在通过消除-检查方法抵御恶意提示，提供可验证的安全保证。
微调大型语言模型可能带来哪些安全风险？
微调可能引入新的安全风险，现有的安全对齐措施无法有效应对这些风险。
后安全对齐方法（PSA）有什么优势？
PSA方法能够提升安全性，减轻过度安全性，并在保持实用性的同时无缝集成到目标LLM中。
如何评估大型语言模型的安全性？
可以通过FAEF框架和新指标如Consistency Score和Consistent Safety Score来评估LLMs的安全性。
系统提示在保护大型语言模型中起什么作用？
系统提示在保护模型中至关重要，通过其在安全盆地内的扰动变体进行保护。
什么是浅安全对齐问题？
浅安全对齐问题是指当前安全对齐的LLMs容易受到攻击，导致其安全性不足。
