Ragnarök: TREC 2024 检索增强生成任务的可重复使用 RAG 框架和基线模型
内容提要
该论文介绍了uRAG框架，旨在为多个检索增强生成（RAG）系统提供统一的检索引擎。研究了RAG系统的评估和优化方法，提出了在巴西葡萄牙语中实施RAG模型的最佳实践，并探讨了RAG在大型语言模型中的应用与挑战。总结了RAG的评估方法和未来研究方向。
延伸解读
uRAG框架的设计目标与实验生态
uRAG的核心是提供一个统一的检索引擎，为多个下游RAG系统服务，并规范搜索引擎与RAG系统之间的通信。基于此，作者构建了包含18个训练RAG系统和18个未知RAG系统的大规模实验生态，旨在系统研究为机器开发搜索引擎的承诺与挑战。这种设计使不同RAG系统能在相同检索条件下比较，为RAG评估提供了可复用的基础设施。
RAG评估的现状与RGAR框架
文章指出当前RAG评估缺乏广泛的实验比较，且基准存在局限性。为此提出的RGAR框架基于可测输出和已建立真实性，系统分析RAG系统基准，并讨论改进方向。同时，RAGAs等无参考评估框架也致力于不依赖人工标注的真值，以支持快速评估。这些工作共同推动RAG评估向标准化和自动化发展。
检索增强方法的实际效果对比
在巴西葡萄牙语RAG实践中，优化检索模型和表示学习使MRR@10相对基准提升35.4%，优化输入大小后再提升2.4%。另一项研究显示，HyDE和大型语言模型重排能显著提高检索精度，而MMR和Cohere重排对Naive RAG无明显优势，Multi-query表现不佳。句窗检索在精度上最有效，但答案相似性不稳定。这些发现为方法选择提供了实证参考。
RAG的范式演进与未来方向
文章将RAG发展归纳为三种范式：Naive RAG、Advanced RAG和Modular RAG，并梳理了检索器、生成器和增强方法等组件及关键技术。未来研究可从垂直优化、水平可扩展性以及技术堆栈与生态系统三方面推进。同时，RAG在AIGC和多模态任务中的应用也值得关注，但需应对幻觉、知识更新和透明度等挑战。
Q&A
uRAG框架的主要功能是什么？
uRAG框架提供统一的检索引擎，为多个检索增强生成（RAG）系统服务。
RAG系统的评估方法有哪些？
RAG系统的评估方法包括基于可测输出和已建立真实性的分析框架（RGAR）。
在巴西葡萄牙语中实施RAG模型的最佳实践是什么？
最佳实践包括有效的检索模型和表示学习解决方案，优化输入大小以提高检索精度。
RAG的三种主要范式是什么？
RAG的三种主要范式是Naive RAG、Advanced RAG和Modular RAG。
Hypothetical Document Embedding (HyDE)对检索精度的影响如何？
HyDE和大型语言模型重排显著提高了检索精度。
未来RAG研究的潜在方向有哪些？
未来研究方向包括垂直优化、水平可扩展性和RAG的技术堆栈与生态系统。
