扩展人类判断：Dropbox如何利用大型语言模型提升RAG系统的标注效率

Dropbox通过结合人类标注和大型语言模型（LLMs）提升文档检索的相关性和标注效率。

文档检索质量是RAG系统的瓶颈，直接影响生成答案的质量。

Dash使用监督学习技术训练的排名模型，根据查询文档对的相关性进行标注。

人类标注存在成本高、速度慢和不一致的问题，因此Dropbox引入了LLM生成相关性判断的方法。

LLM生成的标签可以大规模扩展，且成本更低、更一致。

人类校准的LLM标注方法通过小规模高质量数据集来校准LLM评估器。

LLM生成的标签数量可达数十万甚至数百万，显著放大了人类的工作效率。

LLM不替代排名系统，直接用于查询时排名会过慢且受限于上下文。

评估步骤比较LLM生成的相关性评分与人类判断，重点关注LLM判断与用户行为不一致的情况。

上下文对判断相关性至关重要，LLM可以进行额外搜索以理解内部术语，从而提高标注准确性。

这种方法有效地提升了RAG系统的性能，证明了LLM在放大人类判断方面的有效性。