本研究提出了一种名为RESTA的安全重新对齐方法,旨在降低大型视觉语言模型的有害性,同时保持性能。通过整合安全指令数据集VLGuard,模型的安全性得到了提升。此外,研究引入了FAEF框架和LLMSafeGuard,以评估和改善模型的安全性,发现微调可能引入新的安全风险,强调了加强安全协议的必要性。
论文提出RESTA方法,通过任务算术将安全向量加到微调后受损的语言模型权重上,实现安全重新对齐,有效降低模型有害性,同时基本保持原任务性能,解决微调导致安全性下降的问题。
完成下面两步后,将自动完成登录并继续当前操作。