面向企业文档的Graph-RAG:从PDF、Wiki和数据库构建知识图谱

面向企业文档的Graph-RAG:从PDF、Wiki和数据库构建知识图谱

💡 原文英文,约3500词,阅读约需13分钟。
📝

内容提要

文章介绍为企业文档构建三层Graph-RAG系统:优先级1为实时数据库(CMDB),提供始终最新的权威事实;优先级2为Wiki页面,内容详尽但可能过时;优先级3为PDF文档,经pdfplumber提取、分块并存入Chroma向量库,补充叙述性细节。检索时用spaCy识别服务实体,融合三层结果,并在提示词中写入明确优先级规则:数据库与Wiki冲突时以数据库为准,且不得提及过时版本。该架构可减少幻觉、提升可解释性,代价是token开销并依赖模型遵守指令。

🔎

延伸解读

优先级规则写在提示词里,而非代码逻辑

文章的关键设计是把冲突解决交给提示词中的明确规则,而不是用路由算法。规则2要求当数据库与Wiki冲突时,不仅以数据库为准,还禁止提及Wiki的过时版本。这避免了模型给出“Wiki说X但数据库说Y”的模糊回答,迫使它输出单一确定答案。代价是依赖模型遵守指令,因此规则需要显式且重复,不能只写“要准确”。

三层数据源的刷新节奏与维护成本

优先级1的CMDB必须保持实时或近实时,这是其价值所在;优先级2的Wiki和优先级3的PDF可以按小时或每晚重新摄入。但文章提醒,如果重新摄入任务没有实际运行,过时的优先级2比没有更糟。此外,真实Wiki导出不会遵循“key: value”格式,需要扩展正则模式或增加轻量LLM提取步骤,这增加了维护负担。

访问控制应在检索前完成

文章指出,权限控制必须发生在事实进入提示词之前,而不是作为提示词中的一条指令。因为软指令可能被模型忽略或争辩,但从未被检索到的数据无法被泄露。这意味着在构建四元组存储和向量库时,就需要根据用户权限过滤数据,而不是依赖模型自觉遵守。

适用边界:小规模服务目录与大规模图数据库

文章的实现用简单四元组存储和全表扫描,适合一个团队的服务目录。但当图规模变大、连接密集时,文章建议引入Neo4j或ArangoDB等图数据库来获得索引和查询性能。同时,该架构的代价是token开销和模型遵循指令的不确定性,对于需要高确定性的企业助手,这种权衡通常值得,但并非没有风险。

❓

Q&A

Graph-RAG 系统里三个优先级的数据源分别是什么?

优先级1是实时数据库(CMDB),提供始终最新的权威事实;优先级2是Wiki页面,内容详尽但可能过时;优先级3是PDF文档,经提取、分块后存入向量库,补充叙述性细节。

当数据库和Wiki对同一个事实说法不一致时,系统怎么处理?

系统在提示词中写入明确规则:数据库(优先级1)与Wiki(优先级2)冲突时以数据库为准,并且不得提及Wiki中的过时版本。

PDF文档在Graph-RAG中是如何被处理的?

使用pdfplumber逐页提取文本,按约500字符分块,然后存入Chroma向量库作为优先级3的向量回退,用于补充叙述性细节。

检索时如何从用户问题中识别出服务实体?

使用spaCy进行命名实体识别,并结合一个已知服务名称列表(如payments-service等)来补充识别,因为通用模型可能不认识内部服务名。

这个架构能带来什么好处,又有什么代价?

好处是减少幻觉、提升可解释性(三层结果可追溯)和简单性(无需训练路由模型);代价是token开销增加,并且依赖模型遵守指令而非依赖自身训练数据。

如果要上生产环境,需要注意哪些关键点?

优先级1应保持实时或近实时更新;优先级2和3可夜间或每小时重新摄入,但要确保任务真的运行;Wiki导出格式不统一,需扩展提取模式或加入LLM提取;访问控制应在事实进入提示词之前完成,而非写在指令里;大规模图可考虑Neo4j等图数据库。

🏷️

标签

➡️

继续阅读