BriefGPT - AI 论文速递
·
微调对语言模型毒性的影响
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究显示，微调大型语言模型可能带来安全风险。即使现有措施能限制推理时的有害行为，但微调时风险仍在。红队研究发现，少量恶意样例可影响GPT-3.5 Turbo的安全性。即便使用良性数据微调，也可能无意中降低安全性。建议加强安全协议应对这些风险。
🎯
关键要点
- 微调大型语言模型可能带来安全风险。
- 现有安全对齐基础设施在推理时能限制有害行为，但微调时风险仍然存在。
- 红队研究发现，少量恶意样例可影响GPT-3.5 Turbo的安全性。
- 即使使用良性数据微调，也可能无意中降低安全性。
- 细调对齐的LLMs引入了新的安全风险，当前安全基础设施无法有效应对。
- 建议加强安全协议以应对微调带来的风险，并倡导进一步研究。
➡️
