与人类判断相一致：大型语言模型评估者中的成对优先关系的作用
内容提要
本文探讨了大型语言模型（LLM）评估中人类偏好与模型表现的关系。研究发现，人类对错误不敏感，倾向于偏好支持自身观点的回答，而高级模型如GPT-4-Turbo更注重正确性和清晰度。通过成对偏好学习，提出了一种新框架以自动评估LLM，解决评估偏见和成本问题，并提出校准策略以提高与人类评估的一致性。
延伸解读
人类评估的偏好偏差
研究发现，人类评估者往往对错误不敏感，更倾向于支持与自己观点一致的答案，甚至当模型承认局限性时表现出不喜欢。这种偏差可能导致评估结果偏离客观质量，影响模型优化的方向。因此，在依赖人类反馈时，需意识到这些偏好可能引入的噪声。
模型评估者的不同侧重点
与人类不同，高级语言模型如GPT-4-Turbo更注重正确性、清晰度和无害性。相似规模的模型即使训练方法不同，也表现出类似的偏好，而对齐微调对预训练模型的偏好改变不大。这表明模型评估者可能提供更一致的评判标准，但需警惕其固有偏好。
偏好评估的可操纵性
基于偏好的评估可以被有意操纵：将模型与评委偏好对齐会提高评分，而注入评委不喜欢的属性会降低评分。这种操纵可能导致评分显著变化，例如在MT-Bench上高达0.59分，在AlpacaEval 2.0上高达31.94分。这提醒我们，评估结果可能被策略性调整所影响。
自动评估框架与校准
为应对评估成本高和偏见问题，研究提出了基于同行评审机制的自动评估框架，并在文本摘要任务上验证了其有效性。此外，通过自动校准基于大语言模型的评估器，可以提高与人类评估的相关性，缓解评估偏差，使自动评估更接近人类判断。
Q&A
人类在评估大型语言模型时有哪些偏好？
人类对错误不敏感，倾向于支持符合自身观点的回答。
GPT-4-Turbo与其他模型相比有什么优势？
GPT-4-Turbo更注重正确性、清晰度和无害性。
如何解决大型语言模型评估中的偏见问题？
提出了一种新框架，通过成对偏好学习和自动评估来解决评估偏见和成本问题。
成对偏好学习在大型语言模型训练中有什么作用？
成对偏好学习能够有效模拟标注者的隐含偏好分布，提升模型的评估一致性。
评估大型语言模型的成本高的原因是什么？
评估成本高主要是由于需要大量人类标注和评估过程的复杂性。
如何提高大型语言模型评估与人类判断的一致性？
通过自动校准评估器和实施校准策略来提高与人类评估的一致性。
