再思基于 LLM 的偏好评估
内容提要
本文探讨了大型语言模型（LLMs）在自然语言生成评估中的偏见问题，提出了多维度独立评估系统以提高评估质量。研究发现LLMs存在冗长性偏差和偏见分布，影响评估一致性。作者提出了校准策略以减轻这些偏差，并开发了工具包FairEval以促进未来研究。
延伸解读
LLM评估中的冗长性偏差
文章指出，大型语言模型作为评估器时存在冗长性偏差，即倾向于给更长的答案更高评分，即使质量相似。例如，GPT-4在评估中更偏好较长的回答。这种偏差会影响评估的公平性和一致性，导致模型可能通过增加输出长度来获取更高评分，而非真正提升质量。
多维度独立评估系统的效果与局限
文章提出多维度独立评估系统（Multi-Elo Rating System）以提高LLM评估质量，实验显示该方法在LLM评估中取得显著成效，但在众包评估中并未带来明显改善。这表明自动评估系统的改进不一定能直接迁移到人类评估场景，众包评估仍需进一步探索和改进。
校准策略与FairEval工具包
为减轻LLM评估中的偏差，文章提出了校准策略，并通过实验验证其能使评估结果更接近人类判断。作者将相关技术集成到工具包FairEval中，并加入人工注释，以促进未来对LLM比较的研究。这为评估方法的标准化和可复现性提供了实用工具。
评估偏差的可操纵性风险
文章发现，基于偏好的评估可能被有意操纵：将模型与评委的偏好对齐会提高评分，而注入评委不喜欢的属性则会降低评分。这种操纵可导致评分显著变化，例如在MT-Bench上高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制）。这提醒我们需警惕评估结果被策略性调整的风险。
Q&A
大型语言模型在自然语言生成评估中存在哪些偏见？
大型语言模型在评估中存在冗长性偏差和偏见分布，影响评估一致性。
多维度独立评估系统如何提高LLM的评估质量？
多维度独立评估系统显著提高了LLM评估质量，但对众包评估没有明显改善。
如何减轻大型语言模型的评估偏差？
提出了校准策略以减轻评估偏差，经过实验验证与人类判断更加接近。
FairEval工具包的目的是什么？
FairEval工具包旨在促进未来研究，集成了文章中的技术和人工注释。
LLMs在评估中表现出的偏见有哪些具体表现？
LLMs表现出对低困惑度文本的偏好、偏见的评分分布和锚定效应。
使用大型语言模型作为评估器的风险是什么？
使用LLMs作为评估器可能导致评估结果的偏见和不一致性。
