iRAG：一种用于视频的增量检索增强生成系统
内容提要
MuRAG是一种多模态检索增强变压器，通过外部存储器提升语言生成能力，在WebQA和MultimodalQA数据集上超越现有模型10-20%。该研究综述了检索增强生成技术在大型语言模型中的应用，提出了评估方法和未来研究方向，强调了检索与生成模型结合的重要性。
延伸解读
多模态RAG的早期突破
MuRAG作为首个多模态检索增强变压器，利用外部非参数多模态存储器增强语言生成，在WebQA和MultimodalQA数据集上实现了10-20%的绝对准确率提升。这标志着RAG从纯文本向多模态扩展的重要一步，为后续研究提供了基础。
RAG范式的演进与评估
论文将RAG发展归纳为Naive RAG、Advanced RAG和Modular RAG三种范式，并系统梳理了检索器、生成器和增强方法等核心组件。同时，文章强调了评估RAG模型有效性的重要性，介绍了多种评估方法和自动评估框架，为后续研究提供了方法论指导。
检索策略的实证发现
一项研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响，发现Hypothetical Document Embedding (HyDE)和大型语言模型重排能显著提高检索精度，而Maximal Marginal Relevance (MMR)和Cohere重排没有明显优势，Multi-query方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。
领域应用与性能提升
在医学领域，MIRAGE框架通过大规模实验提高了大型语言模型的表现，最高可达18%的准确性提升，将GPT-3.5和Mixtral的性能提升至GPT-4级别。这表明RAG在垂直领域具有巨大潜力，能够通过外部知识增强模型的专业能力。
Q&A
MuRAG 是什么？
MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成。
MuRAG 在 WebQA 和 MultimodalQA 数据集上的表现如何？
MuRAG 在这两个数据集上超越现有模型 10-20%。
检索增强生成（RAG）有什么主要组成部分？
RAG 的主要组成部分包括检索器、生成器和增强方法。
RAG 的发展范式有哪些？
RAG 的发展范式包括 Naive RAG、Advanced RAG 和 Modular RAG。
如何评估 RAG 模型的有效性？
论文讨论了评估 RAG 模型的有效性，并介绍了两种评估方法和重点指标。
未来 RAG 研究的潜在方向是什么？
未来研究方向包括垂直优化、水平可扩展性和 RAG 的技术堆栈与生态系统。
