BriefGPT - AI 论文速递 · 2025-05-08T00:00:00Z

ComPO: Preference Alignment via Comparison Oracles

📝

内容提要

本文提出了一种基于比较oracle的新偏好对齐方法，旨在解决现有方法在语言模型与人类偏好对齐中的冗长性和可能性偏移问题。实验结果表明，该方法在利用噪声偏好提升语言模型性能方面具有有效性和灵活性。

🏷️

标签

偏好对齐 噪声偏好 性能提升 比较oracle 语言模型