首届大模型顶会COLM 高分论文：偏好搜索算法PairS，让大模型进行文本评估更高效
内容提要
本文介绍了大模型（LLMs）在文本评估中的问题，包括偏见和不一致性，并提出了一种新的评估范式，使用成对偏好排序来对LLMs进行评估。作者设计了两种高效的偏好搜索算法（PairS-greedy和PairS-beam），并在多个数据集上进行了实验，结果显示PairS在与人类评分的一致性方面表现更好。
延伸解读
从评分到排序：评估范式的转变
文章指出，LLM评估器存在位置、冗长等偏见，且校准技术难以对齐单点评分。受RLHF中偏好对齐的启发，作者将评估转化为成对偏好排序问题。这种范式转变的核心在于，成对比较时LLM评估器与人类评价标准更一致，从而绕过分数分布的先验偏见。对于关注LLM评估可靠性的读者，这提示了从根源上改进评估方法的新思路。
传递性假设与算法效率的权衡
PairS-greedy基于完全传递性假设，将比较复杂度从O(N^2)降至O(NlogN)，大幅提升效率。但LLM并非完美传递，因此PairS-beam在宽松传递性下，通过似然值集束搜索和不确定性剪枝，在质量与复杂度间灵活调整。读者需注意，传递性程度会影响算法选择，实际应用中需根据LLM的传递性表现权衡效率与准确性。
实验表现与实用价值
在NewsRoom、SummEval和HANNA数据集上，PairS与人类评分的一致性优于direct scoring、G-Eval等基线，GPT-4-turbo更达到SOTA。相比win rate和ELO rating，PairS仅需约30%的对比次数即可达到同等排序质量。这表明PairS在降低评估成本的同时保持了高准确性，对于需要频繁评估生成文本的研究者和开发者具有实用意义。
Q&A
大模型在文本评估中存在哪些问题？
大模型在文本评估中存在偏见和不一致性的问题，受到提示设计和多种偏见的影响，导致与人类判断不一致。
PairS算法的主要功能是什么？
PairS算法通过成对偏好排序来评估大模型，提供高效准确的偏好排序，改善与人类评分的一致性。
PairS-greedy和PairS-beam算法有什么区别？
PairS-greedy基于完全传递性假设，复杂度为O(NlogN)，而PairS-beam在宽松传递性假设下，通过似然值进行集束搜索，优化偏好排序。
PairS算法在实验中表现如何？
实验结果显示，PairS在多个数据集上与人类评分的一致性更高，仅需约30%的对比次数即可达到其他基线方法的偏好排序质量。
为什么现有的校准技术未能有效对齐LLM评估器？
现有的校准技术未能有效对齐LLM评估器，主要是因为评估标准的错位，而非评估分数分布的偏见。
如何通过PairS算法减少LLM的偏见？
PairS算法通过成对偏好排序来评估，利用不确定性和传递性假设，提供更对齐人类判断的评估结果，从而减少偏见。
