Shadow Walker 松烟阁
·
小本本系列：基于langchain的RAG工程实践
💡
原文中文，约29000字，阅读约需69分钟。
📝
内容提要
RAG（检索增强生成）结合信息检索与文本生成，提升生成文本的准确性与丰富性。通过检索器从知识库获取相关信息，再由生成器生成符合上下文的文本。文章讨论了RAG的工程实践，包括文档拆分、矢量索引和MMR等高级主题。
🎯
关键要点
- RAG（检索增强生成）结合信息检索与文本生成，提升生成文本的准确性与丰富性。
- RAG的核心组成部分包括检索器和生成器，检索器从知识库中查找相关信息，生成器基于这些信息生成文本。
- RAG工程实践关注如何搭建Retriever的pipeline，包括文档拆分、矢量索引和MMR等高级主题。
- 经典搜索系统在处理内容的含义方面存在困难，而RAG使用向量表示和处理搜索数据，支持多种类型的查询。
- RAG工程实现架构分为四个pipeline：文档拆分、查询数据索引、粗召回和精细召回、LLM文本生成。
- 文本数据的处理可以使用langchain提供的Document对象，支持多种数据源。
- RAG检索时需要对文本进行分块，以满足token限制，使用langchain的text splitter进行文本分块。
- MMR（最大边际相关性）用于平衡推荐的相关性和多样性，避免重复结果。
- LLM生成pipeline结合检索到的文本进行问答，使用特定的prompt模板。
- self-query检索能够根据用户查询构建结构化查询，提取存储文档的元数据进行过滤。
- Agentic RAG通过将自主人工智能代理嵌入RAG管道，超越传统RAG的限制，能够动态适应新挑战。
- Agentic RAG结合ReACT的推理能力与Agent的任务执行能力，创建一个更灵活的系统。
❓
延伸问答
RAG的主要组成部分是什么？
RAG的主要组成部分包括检索器和生成器，检索器从知识库中查找相关信息，生成器基于这些信息生成文本。
如何在RAG中处理长文本？
在RAG中处理长文本时，需要对文本进行分块，以满足token限制，可以使用langchain的text splitter进行文本分块。
MMR在RAG中有什么作用？
MMR（最大边际相关性）用于平衡推荐的相关性和多样性，避免重复结果，确保搜索结果的多样性。
RAG的工程实践主要关注哪些方面？
RAG的工程实践主要关注如何搭建Retriever的pipeline，包括文档拆分、矢量索引和MMR等高级主题。
Agentic RAG与传统RAG有什么区别？
Agentic RAG通过将自主人工智能代理嵌入RAG管道，超越了传统RAG的限制，能够动态适应新挑战。
RAG如何提高生成文本的准确性？
RAG通过结合信息检索与文本生成，从外部知识库检索相关信息，提升生成文本的准确性与丰富性。
➡️
