本文介绍了大模型（LLMs）在文本评估中的问题，包括偏见和不一致性，并提出了一种新的评估范式，使用成对偏好排序来对LLMs进行评估。作者设计了两种高效的偏好搜索算法（PairS-greedy和PairS-beam），并在多个数据集上进行了实验，结果显示PairS在与人类评分的一致性方面表现更好。