精调后保持 LLMs 一致性：提示模板的关键作用
内容提要
研究发现，微调大语言模型存在安全风险：少量恶意样本即可破坏GPT-3.5 Turbo的安全对齐，良性数据集也可能降低安全性；公开模型权重可被利用绕过安全调整。因此，应将微调风险评估纳入模型发布核心环节，并加强自定义微调的安全协议研究。
延伸解读
微调带来的安全风险
文章指出，微调大语言模型存在安全风险：少量恶意样本即可破坏GPT-3.5 Turbo的安全对齐，良性数据集也可能降低安全性。公开模型权重可被利用绕过安全调整。这些发现表明，微调对齐的LLMs引入了新的安全风险，而当前的安全基础设施无法很好地解决。
安全对齐的局限性
尽管现有的安全对齐基础设施可以在推理时限制LLMs的有害行为，但当将微调权限扩展给最终用户时，它们却无法覆盖安全风险。红队研究发现，只需少数恶意训练样例即可危及安全对齐性。因此，需要进一步研究以加强对齐的LLMs的自定义微调的安全协议。
模型发布的风险评估
文章主张在发布模型权重时，风险评估应将微调风险评估作为核心部分。公开模型权重可能导致忽略安全调整，从而使其能力被恶意利用。AI开发人员应该解决模型权重公开释放带来的威胁，以预防未来模型造成的伤害。
Q&A
微调大语言模型会带来哪些安全风险？
微调大语言模型可能引入安全风险：少量恶意训练样本即可破坏GPT-3.5 Turbo的安全对齐；即使使用良性数据集微调，也可能无意中降低模型的安全性；公开模型权重可能被利用绕过安全调整。
为什么公开模型权重会增加安全风险？
公开模型权重可能使攻击者通过微调绕过安全调整，从而恶意利用模型能力。因此，在发布模型权重时，应将微调风险评估作为核心部分。
如何提高微调后模型的安全性？
在微调时加入少量安全示例（如3%的安全演示）可以显著提高模型的安全性，且不会明显降低模型在标准基准上的能力或帮助性。但需注意过度安全调优可能导致模型拒绝合理提示。
提示学习在临床决策任务中有什么优势？
提示学习在临床决策任务中能够以更少的可训练参数和更少的训练数据达到与传统微调相当或更好的性能，从而降低计算资源成本，适用于临床环境。
指令微调模型在偏见识别任务中的表现如何？
指令微调模型（如Alpaca 7B）在零样本提示下进行偏见识别任务，准确率达到56.7%。扩大LLM规模和数据多样性可能进一步提高性能。
微调GPT-3.5可能导致哪些隐私泄露问题？
使用微小的个人可识别信息数据集微调GPT-3.5，可能导致大量隐藏的个人信息被揭示，造成隐私泄露。
