通过向量化上下文改进基于检索的开放领域问答
内容提要
本文介绍了一种增强检索的生成方法（GAR），通过生成相关语境提升开放领域问答的效果。GAR在多个数据集上优于传统检索算法，并结合迁移学习和多阶段关注机制，显著提高问答系统性能。研究表明，检索与生成的结合有效改善大型语言模型的推理能力和生成质量。
延伸解读
检索与生成结合的优势
文章指出，GAR方法通过生成相关语境来增强查询，从而丰富查询的语义。与BM25等稀疏检索和DPU等稠密检索相比，GAR能获得同等甚至更好的检索效果。这表明，将生成模型融入检索过程，可以有效提升开放领域问答的检索质量，为后续答案生成提供更相关的上下文。
在问答任务上的性能提升
GAR与DPU结合后，在Natural Questions和TriviaQA数据集上显著提高了提取式QA基线的性能。此外，在教科书问答中，通过对Llama-2进行监督微调和引入RAG，非图表多项选择题的精度在验证集和测试集上分别提升了4.12%和9.84%。这些结果说明，检索增强生成能切实提升问答系统的准确率。
长上下文任务中的表现
研究表明，检索增强的32K上下文窗口的LLaMA2-70B在7个长上下文任务（包括问答和基于查询的摘要）上平均得分优于GPT-3.5-turbo-16k和Davinci003，并且生成速度更快。这提示从业者，检索增强可以在不扩展模型上下文窗口的情况下，显著提升大型语言模型在长上下文任务中的性能。
对模型推理与生成质量的改善
文章提到，检索与生成的结合能有效改善大型语言模型的推理能力和生成质量。例如，通过多阶段关注机制和序列到序列模型，在长文档背景下能产生更真实的问题，并在SQuAD、MS MARCO和NewsQA数据集上优于现有方法。这表明，融合检索与生成有助于模型更好地理解和利用上下文信息。
Q&A
什么是增强检索的生成方法（GAR）？
增强检索的生成方法（GAR）是一种通过生成相关语境来提升开放领域问答效果的方法。
GAR在问答系统中有什么优势？
GAR在多个数据集上优于传统检索算法，显著提高问答系统的性能。
GAR如何结合迁移学习和多阶段关注机制？
GAR结合迁移学习和多阶段关注机制，以改善大型语言模型的推理能力和生成质量。
在哪些数据集上GAR表现优异？
GAR在Natural Questions和TriviaQA数据集上显著提高了提取式QA基线的性能。
使用GAR的Llama-2模型在多项选择题中表现如何？
通过对Llama-2模型进行监督微调，GAR在非图表多项选择题中精度提升了4.12%。
GAR如何改善长文档背景下的问题生成？
GAR运用多阶段关注机制和序列到序列模型，在长文档背景下产生更真实的问题，效果优于现有方法。
