RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译]
内容提要
本文探讨了在长上下文大语言模型中使用基于检索的推理的必要性。研究表明，长上下文模型在多事实检索和推理方面存在局限，尤其是文档前端信息的检索难度较大。未来的RAG可能需要结合推理步骤，以提高检索和生成的准确性和效率。
延伸解读
长上下文模型并非万能：多事实检索与推理的局限
文章通过多针索引实验发现，随着上下文长度增加，模型对文档前端信息的检索成功率下降，且事实数量越多、推理任务越复杂，性能越差。这表明仅靠扩大上下文窗口并不能保证可靠的信息检索，尤其在需要多事实推理的场景中。因此，RAG 在长上下文时代仍有必要，不能简单假设模型能处理所有信息。
以文档为中心的索引：简化检索流程的新思路
文章提出，与其精细分块并依赖相似度搜索，不如以完整文档为单位进行检索。具体方法包括多维表征索引和 RAPTOR 等，通过为文档生成摘要或构建层次化摘要树，先定位相关文档，再将完整文档交给 LLM 生成答案。这种方法减少了对块大小等参数的敏感度，可能提高召回率和效率，尤其适合长上下文模型。
从单次执行到循环流程：RAG 的自我反思与修正
文章介绍了 Self-RAG 和 C-RAG 等模式，通过在检索和生成过程中加入推理步骤，评估文档相关性、重写问题或转向网络搜索，形成循环流程。这能提升系统对非典型问题的鲁棒性，并减少幻觉。虽然会增加延迟，但可通过快速模型和限制迭代次数来平衡。这种趋势正从简单的提示-响应模式转向更动态的流程模式。
Q&A
长上下文大语言模型的检索能力存在哪些局限性？
长上下文大语言模型在多事实检索和推理方面存在局限，尤其是文档前端信息的检索成功率较低。
什么是基于检索的推理（RAG），它在长上下文模型中的作用是什么？
基于检索的推理（RAG）是使用索引文档进行推理和检索的过程，在长上下文模型中，它有助于提高检索和生成的准确性和效率。
未来的RAG可能会有哪些发展方向？
未来的RAG可能需要结合推理步骤，以提高检索和生成的准确性，同时可能会出现更高效的检索和生成流程。
长上下文模型如何影响信息检索的成功率？
随着上下文长度的增加，文档前端信息的检索成功率下降，尤其是在处理多个信息点时，推理任务的复杂性增加。
以文档为中心的索引技术有什么优势？
以文档为中心的索引技术可以有效解决当前检索问题，允许直接操作完整文档内容，避免过度关注块大小等细节。
在长上下文大语言模型中，推理任务与检索任务有什么不同？
推理任务比简单的检索任务更复杂，尤其是在处理多个信息点时，推理的准确性和深度要求更高。
