RAG 教程笔记（Task04）
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
混合检索结合稀疏向量和密集向量，以提高检索准确性。稀疏向量基于词频，具有良好的可解释性，但缺乏语义理解；密集向量通过深度学习理解同义词，具备更强的泛化能力。查询构建利用大语言模型将自然语言转为结构化查询，支持多种数据类型。检索技术的进阶包括重排序、压缩和校正，以提升检索精度和答案质量。
🎯
关键要点
- 混合检索结合稀疏向量和密集向量，提升检索准确性和召回率。
- 稀疏向量基于词频统计，具有可解释性强但缺乏语义理解的缺点。
- 密集向量通过深度学习理解同义词，具备更强的泛化能力，但可解释性差。
- 融合方法包括倒数排序融合和加权线性组合，以优化检索结果。
- 查询构建利用大语言模型将自然语言转为结构化查询，支持多种数据类型。
- 文本到元数据过滤器将自然语言查询分解为查询字符串和元数据过滤器。
- 文本到SQL技术打破人与结构化数据之间的语言障碍，需处理用户输入模糊性。
- 查询重构与分发通过查询翻译和查询路由优化用户查询。
- 检索进阶技术包括重排序、压缩和校正，以提升检索精度和答案质量。
- 重排序技术如RRF和RankLLM用于提高文档相关性排序。
- 压缩技术提取与查询最相关的信息，去除噪音文本。
- 校正检索引入评估循环，增强系统鲁棒性，减少幻觉。
➡️
