本文提出了一种基于比较oracle的新偏好对齐方法，旨在解决现有方法在语言模型与人类偏好对齐中的冗长性和可能性偏移问题。实验结果表明，该方法在利用噪声偏好提升语言模型性能方面具有有效性和灵活性。