Databricks宣布在Agent Evaluation中对内置LLM评判器进行重大改进
内容提要
Agent Evaluation推出了一种改进的答案正确性评判器，允许Databricks客户衡量和提高其GenAI应用的质量。该评判器包括一个供人工专家提供反馈的审查界面和一套用于可扩展性的自动评判器。与基准相比，新的评判器在客户代表性用例上显示出显著改进。它通过推理参考答案中的事实和主张来评估生成答案的正确性。该评判器已在学术和工业数据集上进行了评估，与人工标注者达成了高度一致和非随机准确性。它优于现有的基准，并具有少样本学习的进一步优化潜力。
延伸解读
评判器改进的核心：从模糊相似度到事实推理
现有LLM评判器多依赖模糊的“相似度”评分，在开放式长答案场景下易产生歧义。Agent Evaluation的新评判器转而推理参考答案中的事实和主张，通过检查生成答案是否包含这些事实来判定正确性。这种更窄、更具体的任务定义，使其在客户代表性用例上显著优于基于相似度的基线，如RAGAS、PromptFlow和MLFlow。
评估方法：与人工标注者的一致性验证
Databricks在学术数据集（如HotPotQA、Natural Questions）和客户行业数据集上评估新评判器。通过多名人工标注者多数投票获得聚合标签，并计算Krippendorff's alpha（学术0.698，行业0.565）确认标注者间一致性良好。评判器与人工标注的百分比一致性和Cohen's kappa均显示高度非随机一致性，学术数据集达88.1%一致性和0.64 kappa，行业数据集达82.2%一致性和0.65 kappa。
性能优势与少样本学习潜力
在客户数据集上，新评判器比上一版Agent Evaluation评判器及最接近的开源基线在一致性上高出13-14%，Cohen's kappa高出0.27；在学术数据集上领先1-2%一致性和0.06 kappa。值得注意的是，部分基线使用了少样本设置，而新评判器在零样本下取得此成绩，表明通过少样本学习还有进一步优化空间。Agent Evaluation已支持该功能，并计划改进少样本示例选择。
Q&A
Databricks的Agent Evaluation有什么新功能？
Agent Evaluation推出了一种改进的答案正确性评判器，帮助客户提高GenAI应用的质量。
新的答案正确性评判器如何评估生成答案的正确性？
评判器通过比较生成答案与参考答案，输出二元结果并提供推理依据。
新评判器在客户数据集上的表现如何？
新评判器在客户数据集上优于现有基准，显示出显著改进。
与旧版评判器相比，新评判器有哪些优势？
新评判器在客户代表性用例上显示出更高的一致性和准确性，且不依赖模糊相似性评分。
新评判器的输入和输出是什么？
输入包括问题、生成的答案和参考答案，输出为二元结果和推理依据。
新评判器的评估方法是什么？
评估方法包括对学术和行业数据集的多位人工标注者进行一致性评估。
