通过构建偏好关系图结构和使用自我注释来发现偏好排序中的矛盾，提出了ContraSolver算法。实验证明无监督的自我对齐可以提高语言模型性能，并量化了矛盾减少的效果，表明解决偏好矛盾对于更好的对齐性能至关重要。

ContraSolver: 通过解决内部偏好矛盾自我对齐语言模型
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证