知识密集型自然语言处理任务的检索增强生成技术研究 [译]
内容提要
该研究展示了一种名为RAG的混合生成模型，具有参数和非参数记忆访问能力。研究人员在开放领域问答任务中测试了RAG模型，发现人们更喜欢RAG生成的内容，认为它更准确和具体。研究人员还探索了学习到的检索部分的有效性，并展示了如何通过简单地替换检索索引来更新模型，无需重新训练。此外，研究人员还讨论了RAG模型的应用潜力和社会影响。
延伸解读
RAG 如何兼顾灵活性与准确性
RAG 将预训练 seq2seq 模型（参数记忆）与维基百科向量索引（非参数记忆）结合，通过端到端训练让检索器与生成器协同工作。相比纯参数模型，它能在不重新训练的情况下更新知识；相比传统检索-提取系统，它生成答案而非抽取片段，在多个开放域问答数据集上取得领先，且生成内容更具体、多样。
生成式答案的优势与边界
在开放域问答中，RAG 即使检索文档未直接包含答案，也能生成正确答案（NQ 上达 11.8% 准确率），而提取式模型为 0%。这表明生成式方法能综合多文档线索。但 RAG 仍依赖检索质量，在 FEVER 事实核查中，其检索文档有 71% 来自关键证据，前 10 篇中 90% 包含关键证据，说明检索效果直接影响下游表现。
知识更新与检索策略的实践启示
RAG 可通过替换文档索引来更新世界知识，无需重新训练。实验显示，使用匹配年份的索引时，回答世界领袖问题的准确率约 70%，而不匹配时骤降至 4%-12%。此外，检索文档数量需权衡：RAG-Sequence 增加文档可提升开放域问答性能，但 RAG-Token 在 10 篇时达到峰值，且可能牺牲 BLEU 分数。
社会影响与潜在风险
RAG 基于维基百科等外部知识，能减少幻觉并提供更多控制和解释能力，在医疗问答等场景有积极潜力。但外部知识源可能包含偏见或不准确信息，且 RAG 作为语言模型仍可能被用于生成误导性内容、垃圾邮件或钓鱼内容。这些风险与 GPT-2 等模型类似，需通过技术手段缓解。
Q&A
RAG模型是什么？它如何结合参数化和非参数化记忆？
RAG（检索增强生成）是一种混合生成模型，结合了预训练的参数记忆（如seq2seq模型BART）和非参数记忆（通过预训练神经网络检索器访问的维基百科密集向量索引）。检索器基于输入检索相关文档，生成器基于这些文档和输入生成输出，两者端到端联合训练。
RAG模型在开放领域问答任务上的表现如何？
RAG在多个开放领域问答数据集上取得了领先成绩，超越了传统的seq2seq模型和专门的检索-提取系统。例如，在自然问题（NQ）上，RAG-Sequence达到44.5 EM，高于DPR的41.5；在TriviaQA上达到68.0 EM；在WebQuestions和CuratedTrec上也刷新了记录。
RAG模型如何更新知识？是否需要重新训练？
RAG可以通过简单地替换非参数记忆的检索索引来更新模型知识，无需重新训练。实验表明，使用2016年索引的RAG对2016年世界领袖问题的正确率为70%，而使用2018年索引对2018年问题的正确率为68%，但索引与年份不匹配时准确率显著下降。
RAG模型在生成任务中的表现如何？与BART相比有什么优势？
在生成任务中，RAG生成的文本在事实性、具体性和多样性上优于BART。例如，在MS-MARCO上，RAG-Sequence的BLEU-1和ROUGE-L分别比BART高2.6分；在Jeopardy问题生成中，人工评估显示42.7%的情况下RAG更准确，而BART仅7.1%。
RAG模型在事实核查任务（FEVER）上的表现如何？
在FEVER三分类任务中，RAG的准确率仅比最先进模型低4.3%；在二分类任务中，仅比使用黄金证据的RoBERTa低2.7%。此外，RAG检索的文档中71%来自关键证据文档，前10篇检索文档中90%包含关键证据。
RAG模型有哪些潜在的社会影响和风险？
RAG基于真实事实知识（如维基百科）提供更强的事实基础，减少幻觉，并增加可控性和可解释性，可用于医疗问答等有益场景。但外部知识源可能包含偏见，且RAG可能被用于生成虐待、伪造或误导性内容，以及自动化垃圾邮件/网络钓鱼，需要缓解措施。
