用慢思考提升模型安全性，北交大、鹏城实验室提出系统2对齐

机器之心AIxiv专栏促进了学术交流，报道超过2000篇内容。

北京交通大学ADaM团队研究系统2对齐技术，提升模型的推理能力和安全性。

系统2对齐通过引导或监督的方式使模型对齐，鼓励分析性推理。

系统1对齐是直接命令，而系统2对齐是通过引导培养自主思考能力。

ADaM团队探索了多种技术路径实现系统2对齐，包括提示工程、监督微调、DPO和强化学习。

o1模型在处理用户请求时，考虑安全指南有助于提升安全性，但也存在逻辑混乱和过度拒绝良性请求的问题。

提示工程和监督微调可以提高模型安全性，但可能导致过度拒绝率增加。

直接偏好优化（DPO）和基于结果监督的强化学习（RL）方法在安全性指标上有所提升。

过程监督的强化学习通过实时反馈增强模型的安全对齐能力。

系统2对齐可以提升传统系统1模型的安全性，促进模型的内在推理和批判性思考。