BriefGPT - AI 论文速递 · 2025-04-03T00:00:00Z More is Less: The Pitfalls of Multi-Model Synthetic Preference Data in DPO Safety Alignment 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究探讨了直接偏好优化（DPO）在大型语言模型对齐中的应用，发现多模型生成的合成偏好数据虽然能提升性能，但也增加了安全风险。相比之下，仅使用自生成响应的模型在对齐安全性上表现更佳。 🏷️ 标签 model 合成偏好数据 大型语言模型 安全风险 模型对齐 直接偏好优化 阅读原文 生成长图 分享链接 已复制链接
