RAPTOR: 递归抽象处理树形检索
内容提要
本文综述检索增强语言模型研究，涵盖RPT联合预训练、Iter-RetGen迭代检索生成、RR后置处理、结构感知模型、RetroNLU语义解析、AR-Tree句子建模及RAR零样本检索等方法，可提升问答、推理与信息检索性能，降低训练开销。
延伸解读
检索增强语言模型的演进脉络
文章梳理了从2018年到2023年检索增强语言模型的发展，涵盖RPT、Iter-RetGen、RR、结构感知模型、RetroNLU、AR-Tree和RAR等方法。这些工作分别从联合预训练、迭代检索生成、后置处理、结构融合、语义解析、句子建模和零样本检索等角度，尝试提升问答、推理与信息检索性能，并降低训练开销。读者可借此了解该领域的技术路线多样性。
降低训练与推理成本的技术路径
多个方法致力于减少检索增强模型的训练和推理开销。例如，Iter-RetGen通过迭代协同减少检索与生成开销；RetroNLU在数据稀缺环境下仅需40%数据即可匹配基线准确度；RAR利用文档间链接提供多视角表示，无需昂贵训练和推理成本，并取得最多37%的绝对改进。这些策略为资源受限场景提供了实用参考。
面向不同任务的性能提升
文章提及的方法在多种任务上展现出性能提升。RPT在图书、代码和数学写作的长程语言建模任务中改善了检索质量和困惑度；Iter-RetGen在多跳问答、事实验证和常识推理上可比甚至优于现有基准；RR借助思维链提示提升常识、时间和表格推理；结构感知模型改善科学文档检索的相关性、准确性和连贯性。这些结果说明检索增强可泛化至多样任务。
Q&A
RPT 是什么？它有什么作用？
RPT 是 Retrieval-Pretrained Transformer 的缩写，是一种用于从头开始联合训练检索增强语言模型的架构和训练流程。它在四个长程语言建模任务上进行了评估，涵盖图书、代码和数学写作，证明与强基线相比，RPT 改善了整体的检索质量和困惑度。
Iter-RetGen 方法是如何工作的？它适用于哪些任务？
Iter-RetGen 通过检索和生成的迭代协同作用，全面处理检索到的知识，并在不受结构约束的情况下实现灵活的生成。它适用于多跳问答、事实验证和常识推理等任务，可实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销。
RR 后置处理方法是什么？它如何提升大语言模型的推理能力？
RR 是 'rethinking with retrieval' 的缩写，是一种后置处理方法。它借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。
RetroNLU 在语义解析中有什么优势？
RetroNLU 使用检索式建模的思想，为会话助手的多领域任务定向语义解析问题引入。通过在序列到序列模型中扩展检索部件，它在不同语言表达复杂度下均比基线更为出色，尤其是在数据稀缺环境下，只需 40% 的数据即可达到基线模型准确度的匹配，超越基线方法 1.5% 的绝对宏-F1。
AR-Tree 模型是什么？它有什么特点？
AR-Tree 是一种 Attentive Recursive Tree 模型，它可以根据任务动态地定位一个句子中的重要单词，在自底向上进行句子嵌入的组成时，内在地强调重要单词。通过一种端到端的加强训练策略，该模型在三个句子理解任务上表现出色。
RAR 方法如何实现零样本信息检索？它有什么优势？
RAR 是 Referral-Augmented Retrieval 的缩写，用于零样本信息检索。它通过链接到特定文档的其他文档的文本来提供更全面、多视角的文档表示。这种方法与稀疏型和密集型召回器一起使用可以消除模型训练和推理的昂贵成本，并取得了最多 37% 的绝对改进。
