利用大型语言模型增强人类标注，提高Dash搜索相关性
内容提要
Dropbox Dash利用检索增强生成（RAG）模式，通过企业搜索获取相关信息并生成回答。它结合人类标注与大型语言模型（LLM）训练搜索排名模型，以提升搜索结果的相关性和质量。Dash通过自动化与人工审核相结合，确保生成的相关性标签准确且可扩展，从而优化搜索体验。
关键要点
-
Dropbox Dash利用检索增强生成（RAG）模式，通过企业搜索获取相关信息并生成回答。
-
Dash结合人类标注与大型语言模型（LLM）训练搜索排名模型，以提升搜索结果的相关性和质量。
-
Dash的搜索结果通过相关性模型排序，模型根据查询与文档的匹配程度为每个文档分配分数。
-
相关性标签的生成依赖于用户行为、人工标注和LLM评估等多种方式。
-
人类标注虽然准确，但成本高且难以扩展，LLM提供了一种更具成本效益和一致性的替代方案。
-
Dash结合自动化与人工审核，确保生成的相关性标签准确且可扩展。
-
LLM生成的相关性判断需要经过严格的评估和校准，以确保其质量。
-
Dash通过分析用户行为与LLM预测的相关性之间的差异，优先处理可能出现错误的案例。
-
准确的相关性评估通常依赖于查询或文档文本中未明确存在的上下文信息。
-
Prompt优化在评估规模扩大时变得更加重要，DSPy等框架可以帮助管理复杂性。
-
LLM生成的标签基于人类审核的参考数据，可以持续监控和重新校准，以适应模型和产品需求的变化。
-
人类标定的LLM评估为跨模态适应相关性判断提供了共享机制，确保一致性和正确性。
延伸问答
Dropbox Dash如何提高搜索结果的相关性？
Dropbox Dash通过结合人类标注与大型语言模型（LLM）训练搜索排名模型，利用检索增强生成（RAG）模式来提升搜索结果的相关性和质量。
人类标注在搜索排名模型中有什么优势和劣势？
人类标注的优势在于准确性高，但劣势是成本高且难以扩展，且评估过程需要持续培训。
LLM如何在Dropbox Dash中生成相关性标签？
LLM通过分析用户行为和文档与查询的匹配程度，生成相关性标签，并在经过人类审核后进行校准。
如何确保LLM生成的相关性判断的质量？
通过将LLM生成的判断与人类标注进行比较，进行严格的评估和校准，以确保其质量。
Dropbox Dash如何处理用户行为与LLM预测之间的差异？
Dash通过分析用户行为与LLM预测的相关性之间的差异，优先处理可能出现错误的案例，以提高模型的准确性。
在使用LLM进行相关性评估时，如何优化提示？
通过审查模型错误的案例，调整指令或添加缺失的上下文，进行提示优化，以提高评估的准确性。
