检索即生成
内容提要
本文综述检索增强生成（RAG）研究进展，涵盖Iter-RetGen迭代协作框架、GenRead生成上下文文档、统一语言模型结合生成检索与闭书生成等方法，应用于多跳问答、事实验证和常识推理等任务，并探讨缓解幻觉、证据捏造及生成式检索评估等问题。
延伸解读
迭代协作：检索与生成的相互增强
Iter-RetGen 框架通过检索和生成的迭代协同，让模型在每一轮中利用前一轮的生成结果来指导下一轮检索，从而更全面地处理知识并灵活生成。这种方法在多跳问答、事实验证和常识推理等任务中表现优于现有基线，同时减少了检索和生成的开销。其核心在于打破传统单向流程，让检索与生成相互反馈，提升推理能力。
生成式检索：用模型生成上下文替代传统检索
GenRead 方法让大型语言模型直接生成上下文文档，而不是从外部语料库中检索，以解决开放领域问答等知识密集型任务。通过基于聚类的提示方法选择不同提示，提高了回收率，实验证明其准确性高于传统检索-阅读模型。这为检索增强生成提供了新思路，即利用模型内部知识生成证据。
统一模型与评估挑战
有研究提出统一语言模型，将生成检索、闭书生成和 RAG 结合，在 KILT 基准上表现优异。同时，生成式检索的评估也受到关注，有工作通过调查信息检索和自然语言处理文献，识别搜索任务和系统架构，为评估提供理论基础。这些进展表明，检索与生成的融合正推动更强大的知识密集型任务处理，但评估方法仍需完善。
幻觉与证据捏造：RAG 的局限与应对
尽管 RAG 能缓解语言模型的幻觉问题，但研究发现在科学文档推理任务中，模型仍会使用编造的证据支持预测，且利用科学语料库预训练无法减轻这种风险。这提示我们，检索增强生成并非万能，需要更严谨的评估和机制来确保生成内容的可靠性，尤其是在高风险领域。
Q&A
Iter-RetGen 是什么？它有什么作用？
Iter-RetGen 是一种迭代检索-生成的协作框架，通过检索和生成的迭代协同作用，全面处理检索到的知识并实现灵活生成，从而提升大型语言模型在多跳问答、事实验证和常识推理等任务中的推理能力，同时减少检索和生成的开销。
GenRead 方法如何解决开放领域问答任务？
GenRead 使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并借助基于聚类的提示方法来选择不同的提示以提高回收率，实验证明其准确性高于传统的检索-阅读模型。
统一语言模型如何结合生成检索与闭书生成？
该统一语言模型将生成检索、闭书生成和 RAG 有机结合，利用外部语料库处理各种知识密集型任务，通过引入不同机制实现有效的检索和生成，并在 KILT 基准测试中展现了出色性能。
RAG 技术如何缓解语言模型的幻觉问题？
通过 Retrieval-Augmented Generation (RAG) 技术结合语言模型，并使用 Orca2 模型进行查询优化，可以显著改善初始语言模型的性能，从而缓解幻觉问题。引入 BERT 的 UMAP 技术进一步简化了文档检索过程。
Selfmem 框架是什么？它在文本生成任务中表现如何？
Selfmem 是一个结合检索增强生成模型原始和对偶问题的框架，采用检索增强生成器自身进行迭代以生成无限的记忆池，并使用记忆选择器挑选下一代回合的记忆。在多个文本生成场景中取得了 JRC-Acquis（四个方向）、XSum（50.3 ROUGE-1）和 BigPatent（62.9 ROUGE-1）的最新成果。
大型语言模型在科学文档推理中是否存在证据捏造问题？
是的，研究发现大型语言模型在科学文档推理任务中会使用编造的证据来支持预测，并且利用科学语料库进行预训练无法减轻证据捏造的风险。
