基于LLM评估搜索系统
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
微软的Bing搜索组提出了一种使用大型语言模型（LLM）生成相关性标签的方法，通过真实用户反馈和选择合适的LLM提示词，可以准确生成标签，降低成本、提高速度，并改进搜索系统性能。
🔎
延伸解读
LLM标注的可行性验证
文章通过TREC-Robust 2004数据集验证了LLM生成相关性标签的可行性，实验表明LLM的准确性与人工标注者相当，尤其在复杂查询中表现良好。这为搜索系统评估提供了一种新的低成本、高效率的替代方案，但需注意其依赖于提示词设计和真实用户反馈的校准。
提示词设计的关键影响
提示词的结构和措辞对LLM标注效果有显著影响。实验发现，包含描述、叙述和多个评审员的组合效果最佳，而角色设定和模拟多评审员可能带来负面效果。小幅改写提示词也可能导致性能波动，因此需先固定整体设计再优化措辞。
Bing的实践与人工监督
Bing自2022年底起将LLM与专家人工标注结合用于离线评估，LLM在准确性、速度和成本上均优于众包标注。同时，Bing通过每周抽样重新标注和定期监控来确保标签质量，这种混合模式在自动化规模与人工验证之间取得了平衡。
❓
Q&A
如何使用LLM生成搜索系统的相关性标签？
通过真实用户反馈选择合适的LLM和提示词，LLM可以大规模生成标签，准确性与人工标注者相当。
微软Bing如何提高搜索系统的标签质量？
Bing结合LLM与人工标注者，通过监控和重新标注确保标签质量，降低偏差和错误。
使用LLM生成标签的优势是什么？
LLM生成标签的速度更快、成本更低，且准确性优于众包评委，适合大规模应用。
如何评估LLM生成的标签与人工标签的一致性？
通过混淆矩阵和平均绝对误差（MAE）来衡量机器与人工标签之间的差异。
LLM生成标签的Prompt Tuning是什么？
Prompt Tuning是优化提示词结构的过程，以提高LLM生成标签的准确性。
Bing如何监控标签生成的质量？
Bing定期抽取标签样本进行人工验证，监控分歧率和变化，以确保系统健康。
🏷️
