Shadow Walker 松烟阁
·
小本本系列：基于langchain的RAG工程实践
内容提要
RAG（检索增强生成）结合信息检索与文本生成，提升生成文本的准确性与丰富性。通过检索器从知识库获取相关信息，再由生成器生成符合上下文的文本。文章讨论了RAG的工程实践，包括文档拆分、矢量索引和MMR等高级主题。
关键要点
-
RAG（检索增强生成）结合信息检索与文本生成，提升生成文本的准确性与丰富性。
-
RAG的核心组成部分包括检索器和生成器，检索器从知识库中查找相关信息，生成器基于这些信息生成文本。
-
RAG工程实践关注如何搭建Retriever的pipeline，包括文档拆分、矢量索引和MMR等高级主题。
-
经典搜索系统在处理内容的含义方面存在困难，而RAG使用向量表示和处理搜索数据，支持多种类型的查询。
-
RAG工程实现架构分为四个pipeline：文档拆分、查询数据索引、粗召回和精细召回、LLM文本生成。
-
文本数据的处理可以使用langchain提供的Document对象，支持多种数据源。
-
RAG检索时需要对文本进行分块，以满足token限制，使用langchain的text splitter进行文本分块。
-
MMR（最大边际相关性）用于平衡推荐的相关性和多样性，避免重复结果。
-
LLM生成pipeline结合检索到的文本进行问答，使用特定的prompt模板。
-
self-query检索能够根据用户查询构建结构化查询，提取存储文档的元数据进行过滤。
-
Agentic RAG通过将自主人工智能代理嵌入RAG管道，超越传统RAG的限制，能够动态适应新挑战。
-
Agentic RAG结合ReACT的推理能力与Agent的任务执行能力，创建一个更灵活的系统。
延伸解读
RAG的核心组成部分
RAG系统的核心在于检索器和生成器的有效结合。检索器负责从知识库中提取相关信息，而生成器则基于这些信息生成上下文相关的文本。这种结构使得RAG能够在处理复杂查询时，提供更准确和丰富的回答，尤其在信息量庞大的情况下，能够显著提升文本生成的质量。
文档处理的挑战
在RAG的实现中，文档的分块处理是一个关键环节。由于模型对token数量有限制，长文本需要被切分为适合的块，以避免信息丢失。使用langchain的text splitter工具可以有效地进行文本分块，但在切分时需注意保持语义的连贯性，以确保生成的文本仍然具有逻辑性和一致性。
MMR的应用价值
最大边际相关性（MMR）在RAG中起到平衡相关性与多样性的作用。通过MMR，系统能够避免重复的结果，确保推荐的内容既相关又多样化。这在用户体验上尤为重要，尤其是在处理相似内容时，MMR能够提升信息检索的质量，使得用户获得更丰富的选择。
延伸问答
RAG的主要组成部分是什么？
RAG的主要组成部分包括检索器和生成器，检索器从知识库中查找相关信息，生成器基于这些信息生成文本。
如何在RAG中处理长文本？
在RAG中处理长文本时，需要对文本进行分块，以满足token限制，可以使用langchain的text splitter进行文本分块。
MMR在RAG中有什么作用？
MMR（最大边际相关性）用于平衡推荐的相关性和多样性，避免重复结果，确保搜索结果的多样性。
RAG的工程实践主要关注哪些方面？
RAG的工程实践主要关注如何搭建Retriever的pipeline，包括文档拆分、矢量索引和MMR等高级主题。
Agentic RAG与传统RAG有什么区别？
Agentic RAG通过将自主人工智能代理嵌入RAG管道，超越了传统RAG的限制，能够动态适应新挑战。
RAG如何提高生成文本的准确性？
RAG通过结合信息检索与文本生成，从外部知识库检索相关信息，提升生成文本的准确性与丰富性。
