自适应 - RAG: 通过问题复杂性学习适应检索增强大型语言模型
内容提要
该论文探讨了通过检索增强生成（RAG）和迁移学习提升教科书问答的推理能力。对Llama-2模型的微调使验证集和测试集的准确率分别提升了4.12%和9.84%。文中总结了RAG的三种范式及评估方法，并提出了基于时间感知的自适应检索方法（TA-ARE）以提高检索效率。此外，研究介绍了LLMQA框架，结合检索与生成的优势，提升开放领域问答的准确性和证据质量。
延伸解读
RAG技术演进与评估
文章将RAG的发展归纳为Naive RAG、Advanced RAG和Modular RAG三种范式，并指出检索器、生成器和增强方法是其三个核心组件。在评估方面，文章介绍了两种评估方法、重点指标以及最新的自动评估框架，为研究者提供了系统性的评估视角。这些内容有助于理解RAG的技术脉络和性能衡量方式。
自适应检索的挑战与TA-ARE方法
自适应检索增强生成（ARAG）旨在动态判断是否需要检索，以提高效率，但以往研究缺乏对其效果的充分评估。为此，文章提出了包含1,271个问题的RetrievalQA基准，并发现基于校准的方法依赖阈值调整，简单提示方法不可靠。基于此，作者提出TA-ARE方法，无需校准或额外训练即可帮助语言模型评估检索必要性。
LLMQA框架：融合检索与生成
LLMQA将开放领域问答分为查询扩展、文档选择和答案生成三个步骤，结合了基于检索和基于生成证据的优势。该框架指导LLMs扮演生成器、重新排序器和评估器等多种角色，并引入提示优化算法。在NQ、WebQ和TriviaQA基准上，LLMQA在答案准确性和证据质量上达到了最佳表现，展示了其推进ODQA研究的潜力。
Q&A
RAG技术如何提升教科书问答的推理能力？
RAG技术通过检索外部知识库中的相关信息，结合生成模型，改善了教科书问答中的推理能力。
Llama-2模型的微调效果如何？
对Llama-2模型的微调使验证集和测试集的准确率分别提升了4.12%和9.84%。
LLMQA框架的基本步骤是什么？
LLMQA框架将开放领域问答过程分为查询扩展、文档选择和答案生成三个基本步骤。
TA-ARE方法的主要优势是什么？
TA-ARE方法能够在不进行校准或额外训练的情况下，帮助语言模型评估检索的必要性，提高检索效率。
ActiveRAG框架如何提高语言模型的认知能力？
ActiveRAG框架通过知识构建机制和认知纽带机制，将被动知识获取转变为主动学习机制，从而提高了语言模型的内在认知。
RAG的三种范式是什么？
RAG的三种范式包括Naive RAG、Advanced RAG和Modular RAG。
