博客园 - JadePeng
·
RAG 范式、技术和趋势 - JadePeng
内容提要
同济大学的Haofen Wang报告了检索增强生成（RAG）的范式、技术和趋势。RAG通过从文档中检索信息并结合大型语言模型（LLM）生成答案，适用于知识密集型任务。RAG分为Naive、Advanced和Modular三种范式，后者引入了更灵活的功能模块。RAG与微调（FT）互补，结合使用可提高模型性能。目前有多种开发框架支持RAG应用，其应用已扩展至多模态任务。
关键要点
-
RAG（检索增强生成）通过从文档中检索信息并结合LLM生成答案，适用于知识密集型任务。
-
RAG分为Naive RAG、Advanced RAG和Modular RAG三种范式，后者引入了更灵活的功能模块。
-
RAG与微调（FT）互补，结合使用可提高模型性能。
-
Naive RAG是传统流程，面临许多挑战，Advanced RAG增加了预检索和检索后处理。
-
模块化RAG引入了更具体的功能模块，结合检索与微调、强化学习等技术。
-
检索的粒度和数据结构化程度影响检索效果，使用Query Rewriting和Query Clarification可优化检索。
-
当前有多种开发框架支持RAG应用，RAG的应用已扩展至多模态任务。
延伸解读
RAG的应用场景
RAG特别适合知识密集型任务，能够在不重新训练整个模型的情况下，快速整合外部知识。这使得RAG在企业应用中具有重要价值，尤其是在需要快速响应和准确回答的场景中。
RAG与微调的互补性
RAG与微调（FT）并不是相互排斥的，而是可以结合使用以提高模型性能。RAG适合快速集成新知识，而FT则在长期积累知识方面表现更佳。了解两者的特点，有助于选择合适的技术方案。
模块化RAG的灵活性
模块化RAG引入了更具体的功能模块，使得检索与生成过程更加灵活。通过结合强化学习等技术，模块化RAG能够适应不同的应用需求，提升整体性能。关注这一发展趋势，有助于把握未来技术方向。
延伸问答
RAG的基本流程是什么？
RAG的基本流程是从大量文档中检索相关信息，然后基于这些信息让大型语言模型生成答案。
RAG有哪些不同的范式？
RAG分为Naive RAG、Advanced RAG和Modular RAG三种范式。
RAG与微调（FT）有什么区别？
RAG依赖外部知识库进行信息检索，而FT则是通过内化知识来提高模型性能，二者是互补关系。
如何优化RAG的检索效果？
可以通过Query Rewriting和Query Clarification等技术来优化检索效果。
模块化RAG的特点是什么？
模块化RAG引入了更具体的功能模块，结合检索与微调、强化学习等技术，结构更灵活。
目前有哪些开发框架支持RAG应用？
当前流行的开发框架包括LangChain、LlamaIndex和AutoGen等。
