利用大型语言模型增强人类标注，提高Dash搜索相关性
💡
原文英文，约2100词，阅读约需8分钟。
📝
内容提要
Dropbox Dash利用检索增强生成（RAG）模式，通过企业搜索获取相关信息并生成回答。它结合人类标注与大型语言模型（LLM）训练搜索排名模型，以提升搜索结果的相关性和质量。Dash通过自动化与人工审核相结合，确保生成的相关性标签准确且可扩展，从而优化搜索体验。
🎯
关键要点
- Dropbox Dash利用检索增强生成（RAG）模式，通过企业搜索获取相关信息并生成回答。
- Dash结合人类标注与大型语言模型（LLM）训练搜索排名模型，以提升搜索结果的相关性和质量。
- Dash的搜索结果通过相关性模型排序，模型根据查询与文档的匹配程度为每个文档分配分数。
- 相关性标签的生成依赖于用户行为、人工标注和LLM评估等多种方式。
- 人类标注虽然准确，但成本高且难以扩展，LLM提供了一种更具成本效益和一致性的替代方案。
- Dash结合自动化与人工审核，确保生成的相关性标签准确且可扩展。
- LLM生成的相关性判断需要经过严格的评估和校准，以确保其质量。
- Dash通过分析用户行为与LLM预测的相关性之间的差异，优先处理可能出现错误的案例。
- 准确的相关性评估通常依赖于查询或文档文本中未明确存在的上下文信息。
- Prompt优化在评估规模扩大时变得更加重要，DSPy等框架可以帮助管理复杂性。
- LLM生成的标签基于人类审核的参考数据，可以持续监控和重新校准，以适应模型和产品需求的变化。
- 人类标定的LLM评估为跨模态适应相关性判断提供了共享机制，确保一致性和正确性。
➡️
