高效 LLM 比较评估:基于专家框架的配对比较
原文中文,约500字,阅读约需1分钟。发表于: 。使用 LLM 法作为评估者的方法是一种实际有效的方式,尤其当以比较评估的方式应用时,能与人类评判相符。本文引入了一种高效的 LLM...
本文介绍了一种高效的LLM比较评估的专家模型(PoE),通过结合不同专家的信息,可以得到一个与潜在候选集相关的表达式,具有高度灵活性。使用高斯专家时,可以导出最优候选排名的简单闭式解,以及选择哪些比较可以最大化该排名的概率的表达式。该方法能够实现高效的比较评估,只需使用一个小子集即可生成与全部比较使用时相似相关性的分数预测。在多个自然语言生成任务上评估了该方法,并证明了在执行成对比较评估时能够实现可观的计算节省。