MVP 聚技站|Multi RAG:企业级 RAG 的重要架构

💡 原文中文,约4900字,阅读约需12分钟。
📝

内容提要

在企业知识应用中,联合RAG技术可以实现不同知识库的复用和共享。主从召回模式以主知识库为基石,放弃冲突的从知识库内容;集群召回模式逐一输出每个知识库的描述,提供更全面的信息。分布式推理模式要求子应用独立完成RAG过程,再汇聚到主应用进行推理;集中式推理模式由主应用进行推理,子应用仅负责召回。在选择模型、装载策略和数据关系时需考虑不同数据结构和质量。最后,可以根据实际需求组合不同策略来实施Multi RAG。

🔎

延伸解读

主从与集群召回:冲突处理与信息互补

主从召回模式以主知识库为基石,当从知识库内容冲突时直接放弃从库信息,适合需要权威统一答案的场景,如产品知识问答。集群召回模式则平等对待各知识库,逐一输出不同见解,提供更全面的信息,适合法规与历史记录、多部门政策等需要综合多源信息的场景。选择时需权衡答案的权威性与全面性。

分布式与集中式推理:成本、性能与全局性权衡

分布式推理由子应用独立完成RAG并汇聚结果,主应用算力稳定、开发简单,但大模型成本分摊导致跨部门结算复杂,且主应用缺少全局信息。集中式推理由子应用仅负责召回,主应用统一推理,成本计算简单、推理能力一致且更具全局性,但需设计装载策略以在有限Token内装入最有效信息。企业应根据成本、性能与全局性需求选择。

集中式推理的装载策略:模型选择与数据优先级

集中式推理中,主应用需处理不同子应用返回的异构召回数据。建议选择Token最大、推理能力最强的模型。信息装载按质量梯队优先:第一梯队为数据行、API JSON和三元组;第二梯队为FAQ;第三梯队为Vector和Search,其中Search需苛刻甄选;第四梯队为Internet。对于不同向量库的TopK,可采用轮巡装载方式,避免简单距离值比较。

数据关系策略:引用、副本与导入的适用场景

主应用与子应用的数据关系影响知识管理。引用方式最简单,子应用数据变更会同步影响主应用,但子应用召回质量直接影响最终推理。副本方式约定当前数据为副本,后续子应用变更不影响主应用,但推理或召回仍由子应用实现。导入方式将子应用数据全部导入主应用统一检索召回,适合低成本集中推理方案,但实现复杂。企业可根据管理需求选择。

❓

Q&A

什么是联合RAG技术?

联合RAG技术可以实现不同知识库的复用和共享。

主从召回模式的工作原理是什么?

主从召回模式以主知识库为基石,放弃与主知识库冲突的从知识库内容。

集群召回模式如何提供信息?

集群召回模式逐一输出每个知识库的描述,提供更全面的信息。

分布式推理模式的优势是什么?

分布式推理模式允许每个子应用独立完成RAG过程,主应用再汇聚结果,算力资源规划稳定。

集中式推理模式的主要特点是什么?

集中式推理模式由主应用进行推理,子应用仅负责召回,确保推理能力一致。

在实施Multi RAG时需要考虑哪些策略?

实施Multi RAG时需组合召回冲突定义策略、推理策略和数据关系策略。

🏷️

标签

➡️

继续阅读