/filters:no_upscale()/sponsorship/topic/08e8377f-e75b-4cb2-9c90-3e4f8149a830/HarnessWebinarApr16-RSB-1772813583373.png)
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
Dropbox通过结合人类标注和大型语言模型（LLMs）生成的标签，提升了文档检索的相关性和标注效率。尽管LLM存在局限性，但人类校准显著改善了RAG系统的性能。
🎯
关键要点
- Dropbox通过结合人类标注和大型语言模型（LLMs）提升文档检索的相关性和标注效率。
- 文档检索质量是RAG系统的瓶颈，直接影响生成答案的质量。
- Dash使用监督学习技术训练的排名模型，根据查询文档对的相关性进行标注。
- 人类标注存在成本高、速度慢和不一致的问题，因此Dropbox引入了LLM生成相关性判断的方法。
- LLM生成的标签可以大规模扩展，且成本更低、更一致。
- 人类校准的LLM标注方法通过小规模高质量数据集来校准LLM评估器。
- LLM生成的标签数量可达数十万甚至数百万，显著放大了人类的工作效率。
- LLM不替代排名系统，直接用于查询时排名会过慢且受限于上下文。
- 评估步骤比较LLM生成的相关性评分与人类判断，重点关注LLM判断与用户行为不一致的情况。
- 上下文对判断相关性至关重要，LLM可以进行额外搜索以理解内部术语，从而提高标注准确性。
- 这种方法有效地提升了RAG系统的性能，证明了LLM在放大人类判断方面的有效性。
➡️
