用慢思考提升模型安全性，北交大、鹏城实验室提出系统2对齐
💡
原文中文，约5500字，阅读约需14分钟。
📝
内容提要
机器之心AIxiv专栏促进了学术交流，报道超过2000篇内容。北京交通大学ADaM团队研究系统2对齐技术，提升模型的推理能力和安全性，结果表明引导和监督方法有效改善模型表现。
🎯
关键要点
- 机器之心AIxiv专栏促进了学术交流，报道超过2000篇内容。
- 北京交通大学ADaM团队研究系统2对齐技术，提升模型的推理能力和安全性。
- 系统2对齐通过引导或监督的方式使模型对齐，鼓励分析性推理。
- 系统1对齐是直接命令，而系统2对齐是通过引导培养自主思考能力。
- ADaM团队探索了多种技术路径实现系统2对齐，包括提示工程、监督微调、DPO和强化学习。
- o1模型在处理用户请求时，考虑安全指南有助于提升安全性，但也存在逻辑混乱和过度拒绝良性请求的问题。
- 提示工程和监督微调可以提高模型安全性，但可能导致过度拒绝率增加。
- 直接偏好优化（DPO）和基于结果监督的强化学习（RL）方法在安全性指标上有所提升。
- 过程监督的强化学习通过实时反馈增强模型的安全对齐能力。
- 系统2对齐可以提升传统系统1模型的安全性，促进模型的内在推理和批判性思考。
➡️
