高效 LLM 比较评估：基于专家框架的配对比较

本文介绍了一种高效的LLM比较评估的专家模型（PoE），通过结合不同专家的信息，可以得到一个与潜在候选集相关的表达式，具有高度灵活性。使用高斯专家时，可以导出最优候选排名的简单闭式解，以及选择哪些比较可以最大化该排名的概率的表达式。该方法能够实现高效的比较评估，只需使用一个小子集即可生成与全部比较使用时相似相关性的分数预测。在多个自然语言生成任务上评估了该方法，并证明了在执行成对比较评估时能够实现可观的计算节省。