搜索和检索增强生成的列表感知重排序 - 截断联合模型
内容提要
本文综述检索增强生成研究，涵盖Iter-RetGen迭代协同、生成式检索与判别模型对比、LTRGR排序框架、统一语言模型、HLATR重排、多任务训练、Re2G、GAR-meets-RAG零样本迭代及RPT联合预训练等方法，在多跳问答、事实验证和常识推理等任务上提升性能并降低开销。
延伸解读
方法演进：从迭代协同到联合预训练
文章梳理了检索增强生成的多条技术路线。Iter-RetGen通过检索与生成的迭代协同提升多跳问答等任务表现；LTRGR将生成式检索与经典学习排序结合；RPT则从零开始联合预训练检索增强语言模型。这些方法反映了该领域从后处理重排向端到端联合优化的演进趋势，旨在平衡效果与开销。
重排序策略：HLATR与列表感知
HLATR作为轻量级后续重排序模块，融合检索和重排序阶段的特征，提升多阶段文本检索的排名性能。文章标题提及的列表感知重排序与截断联合模型，可能与此类重排序思路相关，强调对候选列表的整体建模而非独立打分，以改善最终排序质量。
评估基准：KILT上的多任务表现
多项方法在KILT基准上验证。多任务训练通过过滤训练样本提升不平衡任务表现；Re2G在零样本填槽、问答等任务上取得9%至34%的相对增益；统一语言模型也在KILT上展现出色性能。这些结果表明KILT是衡量知识密集型任务中检索增强生成系统的重要平台。
零样本场景：GAR-meets-RAG的迭代改进
针对无目标领域标记数据的零样本检索问题，GAR-meets-RAG结合生成增强检索与检索增强生成，通过循环公式迭代改进检索和重写阶段，提升系统召回率和最终精准度。这为缺乏标注数据的实际应用提供了可行的技术路径，但文章未涉及具体计算成本或延迟数据。
Q&A
Iter-RetGen 方法是如何工作的？它有什么优势？
Iter-RetGen 通过检索和生成的迭代协同作用，全面处理检索到的知识，并在不受结构约束的情况下实现灵活生成。它在多跳问答、事实验证和常识推理等任务中效果可比甚至优于现有检索辅助基准，同时减少检索和生成的开销，提高性能。
生成式检索和判别式模型在答案选择任务上有什么不同？
生成式检索框架与基于语义相似性的判别式模型在答案选择任务上进行了比较，研究还展示了非似然损失对信息检索的有效性。
LTRGR 框架是什么？它如何提升生成式检索性能？
LTRGR 是一个结合生成式检索和经典学习排序模型的新框架，通过使用段落排名损失训练自回归模型，只需额外训练步骤即可增强现有生成式检索系统，并在三个公共数据集上实现了最先进的性能。
HLATR 模块的作用是什么？
HLATR 是一个轻量级的后续重排序模块，将检索和重排序阶段的特征结合起来，可以有效提高现有多阶段文本检索方法的排名性能。
Re2G 模型在哪些任务上取得了提升？提升幅度如何？
Re2G 利用神经检索和排名策略结合 BART 序列生成器，在零样本填槽、问答、事实核查和对话等任务中取得了相对增益 9% 至 34% 的较大提升，是目前 KILT 排行榜上最先进的模型。
RPT 是什么？它有什么特点？
RPT 是 Retrieval-Pretrained Transformer 的缩写，是一种用于从头开始联合训练检索增强语言模型的架构和训练流程。在四个长程语言建模任务（图书、代码和数学写作）上评估，证明与强基线相比，RPT 改善了整体检索质量和困惑度。
