与人类判断相一致：大型语言模型评估者中的成对优先关系的作用

使用 Pairwise-preference Search（PAIRS）方法，通过对比评估候选文本，解决了大型语言模型（LLMs）在评估中出现的偏差与不连贯问题。

研究发现，人类对错误不敏感，更倾向于支持自己观点的回答。高级语言模型注重正确性、清晰度和无害性。语言模型的偏好通常相似，无论训练方法如何。评估可以被操纵，与评委偏好一致可提高评分。这种调整对评分有重要影响。

人类观点支持 正确性 清晰度 评估操纵 语言模型 高级语言模型