超越向量检索！混合检索 + 重排序改善 RAG 应用 | 新程序员
内容提要
本文介绍了混合检索和重排序技术在提升RAG系统文档召回效果方面的作用。通过实验数据评估和测试结果分析，突出了混合检索+重排序在不同场景下的优势。混合检索结合了向量检索和关键词检索的优点，弥补了它们的缺陷。重排序通过重新排序候选文档列表，改进语义排序的结果。混合检索+重排序被认为是改进文档召回相关性的有效方法。文章还提到了Azure AI对这些技术进行的实验数据评估。
延伸解读
混合检索：互补优势，应对多样查询
向量检索擅长语义理解，但在精确匹配名称、缩写或ID时效果不佳，而关键词检索恰好弥补这一短板。混合检索结合两者优势，通过并行检索和结果合并，提高召回率。文章指出，选择检索技术需基于用户场景和问题类型，没有一种检索模式能适用于所有情境。
重排序：提升排序质量，非替代检索
重排序模型通过计算问题与候选文档的相关性分数，重新排序结果，尤其适用于合并多路检索结果。它不仅能优化混合检索的输出，在单一检索模式下也能提升效果。重排序是辅助工具，无需重大基础设施修改，但需注意TopK参数设置，避免引入低相关内容。
实验验证：混合检索+重排序的有效性
Azure AI的实验评估显示，混合检索+重排序在不同数据集和查询场景下均能提升文档召回质量。这验证了该组合在RAG系统中的实用价值，尤其适用于生成式AI场景。但文章强调，改善RAG效果需系统性工程设计，而非单点优化。
Q&A
为什么仅靠向量检索构建RAG应用不够？
向量检索虽然擅长语义理解、多语言和多模态匹配，但在搜索具体名称、缩写词或ID时效果不佳，而这些正是传统关键词搜索的优势。因此，仅靠向量检索无法覆盖所有检索场景，需要结合关键词检索来弥补缺陷。
混合检索是如何工作的？
混合检索结合向量检索和关键词检索，在数据库中同时建立向量索引和关键词索引。用户输入问题时，通过两种检索模式分别检索出最相关的内容，然后合并结果，从而互补优势，提高召回质量。
重排序在RAG系统中起什么作用？
重排序通过计算用户问题与候选文档之间的相关性分数，对候选文档列表重新排序，从而改进语义排序结果。它通常放在搜索流程的最后阶段，用于合并和排序来自不同检索系统的结果，也能在单一检索模式下提升召回效果。
重排序的TopK参数是否越大越好？
不是。虽然大模型输入窗口有限，但即使窗口足够大，过多的召回分段可能引入相关度较低的内容，导致回答质量降低。因此需要根据模型输入窗口大小选择合适的分段策略和TopK值。
Azure AI的实验结果如何验证混合检索+重排序的有效性？
Azure AI对关键词检索、向量检索、混合检索、混合检索+重排序进行了实验数据测试。结果显示，混合检索+重排序在不同数据集类型和不同查询场景下，均能提升文档召回质量，证明了其有效性。
构建生产级RAG应用需要注意什么？
改善RAG应用效果不能依赖单点优化，而需要系统性的工程设计思维。要深刻理解用户使用场景，将开放域问答问题收敛为具体情景策略，并合理选择索引、分段、检索、重排等技术组合。
