使用评分说明增强LLM评判功能
内容提要
评估长篇LLM输出的快速准确是快速AI发展的关键。作者提出了一种称为Grading Notes的简单技术，用于在专业领域进行高质量的LLM评估。通过为每个问题注释简短的“评分说明”，LLM评判者可以获得足够的领域知识来做出良好的决策。作者在Databricks Assistant的开发中使用了Grading Notes，并取得了良好的效果。
延伸解读
评分说明如何弥补领域知识缺口
在专业领域，LLM评判者常因缺乏领域知识而偏好流畅但错误的答案。评分说明通过为每个问题提供简短的领域知识注释，帮助评判者识别关键属性，从而做出更准确的判断。例如，在Databricks Assistant中，评分说明明确指出答案应包含获取表名并删除的步骤，或建议删除整个模式并解释风险，且不应将表视为视图。这种方法使评判者能够聚焦于核心要素，而不需要全面的领域知识。
评分说明与传统方法的对比优势
传统LLM评判方法使用固定提示，在专业领域表现不佳，容易高估答案有效性。参考引导评分需要人工编写详细答案，成本高且无法处理多解情况。评分说明则通过每问题简短注释，平衡了领域知识与标注效率。实验显示，使用评分说明后，GPT-4评判者与人类评判者的对齐率从74.7%提升至96.3%，误对齐率降低85%，显著优于固定提示方法。
实际应用中的评估流程与效果
在Databricks Assistant开发中，团队从内部使用中采样约200个用例，为每个问题编写评分说明，并构建可配置流程以测试不同组件。评估时，将输入、输出和评分说明一起发送给评判LLM，通过函数调用获取二元决策。结果显示，使用评分说明后，评判者与人类判断的对齐率大幅提高，且该方法已用于指导LLM选择、提示调优和上下文检索优化，产生了可靠的评估信号。
研究局限性与注意事项
本研究存在一些局限性：人类评判过程与评分说明标注过程未完全分离，人员重叠可能导致领域知识偏差，从而在问题模糊时高估对齐率。不过，评分说明的简洁性有助于减少这种偏差，因为它只指定关键属性而非强制特定路径。此外，研究采用迭代共识过程，未计算人类评判者之间的对齐率。因此，在实际应用中需注意这些潜在偏差，并结合其他评估手段。
Q&A
Grading Notes是什么，它如何帮助LLM评判？
Grading Notes是一种为每个问题注释简短评分说明的技术，帮助LLM评判者获得必要的领域知识，从而做出更好的决策。
使用Grading Notes进行评估的效果如何？
使用Grading Notes后，LLM与人类评判者的对齐率显著提高，尤其是GPT-4的对齐率达到了96.3%。
传统的LLM评判方法存在哪些局限性？
传统方法在需要专业知识的任务中表现不佳，尤其是当LLM缺乏相关领域知识时，容易误判答案的有效性。
Databricks Assistant是如何利用Grading Notes的？
Databricks Assistant使用Grading Notes来提高用户在代码生成、错误诊断等任务中的生产力，并优化评估过程。
Grading Notes的实施过程是怎样的？
实施Grading Notes的过程包括为每个问题注释评分说明，并将这些说明用于评估LLM的响应效果。
Grading Notes在评估中有哪些潜在的局限性？
Grading Notes的局限性包括人员重叠和潜在的领域知识偏见，这可能导致对齐率的膨胀。
