论文提出RESTA方法,通过任务算术将安全向量加到微调后受损的语言模型权重上,实现安全重新对齐,有效降低模型有害性,同时基本保持原任务性能,解决微调导致安全性下降的问题。
完成下面两步后,将自动完成登录并继续当前操作。