本研究探讨了直接偏好优化（DPO）在大型语言模型对齐中的应用，发现多模型生成的合成偏好数据虽然能提升性能，但也增加了安全风险。相比之下，仅使用自生成响应的模型在对齐安全性上表现更佳。