Badllama 3：将安全微调从 Llama 3 中移除的方法（仅需几分钟）
内容提要
研究表明，微调大型语言模型（LLMs）可能引入新的安全风险，尤其是在用户自定义微调时。现有安全措施无法完全覆盖这些风险。因此，建议在发布模型权重时进行风险评估，并提出后门增强安全对齐方法和高效微调算法，以提高模型的安全性和性能。
延伸解读
微调带来的安全风险
文章指出，微调大型语言模型可能引入新的安全风险。即使使用少量恶意设计的训练样例，也可能危及模型的安全对齐性；而使用良性数据集微调，也可能无意中降低安全性。这表明，现有的安全对齐基础设施在推理时有效，但无法覆盖用户自定义微调带来的风险。因此，在发布模型权重时，进行微调风险评估至关重要。
高效微调算法的作用
为了在降低内存使用的同时保持模型性能，文章介绍了QLoRA和ModuLoRA两种高效微调算法。QLoRA通过4位量化和低秩适配器，能在小内存下达到全16位微调的性能；ModuLoRA则支持在单个48GB GPU上以3位或4位精度微调65B参数模型。这些方法使得在消费级硬件上微调大模型成为可能，但也可能被滥用，加剧安全风险。
安全对齐的增强方法
文章提出了一种后门增强安全对齐方法，通过使用少量安全示例，有效防御偏好微调调优攻击，同时不损害微调任务的性能。此外，针对大型视觉语言模型，VLGuard数据集被整合到微调中，使模型能有效拒绝不安全指令，并降低黑盒对抗攻击的成功率。这些措施为提升微调安全性提供了可行方向。
Q&A
微调大型语言模型可能带来哪些安全风险？
微调大型语言模型可能引入新的安全风险，尤其是在用户自定义微调时，现有的安全对齐基础设施无法完全覆盖这些风险。
如何评估微调模型的安全性？
建议在发布模型权重时进行风险评估，将微调风险评估作为核心部分，以预防潜在的安全威胁。
QLoRA和ModuLoRA有什么特点？
QLoRA是一种高效的微调方法，能够在降低内存使用的同时保持模型性能；ModuLoRA支持在较低精度下对大型语言模型进行微调，且内存占用更少。
微调是否会降低模型的安全对齐性？
是的，研究发现即使使用良性数据集进行微调，也可能无意中降低模型的安全对齐性。
如何增强微调模型的安全性？
可以通过使用少量的安全示例，提出后门增强安全对齐方法，以有效防御偏好微调调优攻击，同时不损害微调任务的性能。
经过微调的视觉语言模型表现如何？
经过微调的大型视觉语言模型能够有效拒绝不安全的指令，并降低黑盒对抗攻击的成功率。
