大型语言模型中学习和遗忘不安全示例

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

研究发现,微调大型语言模型(LLMs)存在安全风险,即使使用良性数据集进行微调也可能降低安全对齐性。当前的安全基础设施无法解决这些风险,需要进一步研究以加强对齐的LLMs的自定义微调的安全协议。

🎯

关键要点

  • 微调大型语言模型(LLMs)存在安全风险。
  • 即使使用良性数据集进行微调,也可能降低安全对齐性。
  • 现有的安全对齐基础设施无法覆盖微调带来的安全风险。
  • 红队研究发现,少量恶意训练样例即可危及LLMs的安全对齐性。
  • 良性且常用的数据集也可能无意中降低LLMs的安全对齐性。
  • 细调对齐的LLMs引入了新的安全风险。
  • 需要进一步研究以加强对齐的LLMs的自定义微调的安全协议。
➡️

继续阅读