为民航企业构建带入库质量门禁的 RAG 知识库系统
内容提要
为民航企业构建带入库质量门禁的RAG知识库系统，针对规章手册多版本混淆、跨文档矛盾等问题，在入库环节设置质量门禁：按向量相似度分流，高相似度进行版本对比，低相似度进行跨文档一致性检测，生成预审核报告供人工确认；问答环节加入实时冲突标注。系统模块化，支持整体部署或单模块接入。
延伸解读
入库质量门禁：从源头拦截矛盾
标准RAG只负责存储和检索，不检查内容质量，导致多版本混淆和跨文档矛盾。本系统在入库环节设置质量门禁，按向量相似度自动分流：高相似度走版本对比，低相似度走跨文档一致性检测，结果合并为预审核报告供人工确认。这从源头拦截了矛盾信息，避免员工被错误内容误导，尤其适合合规要求高的民航企业。
版本对比与一致性检测的分流逻辑
系统通过计算新文档与库中已有文档的整体相似度，以0.85为阈值自动分流。同名或高相似度文档执行版本对比，包括章节对齐、字级diff和LLM过滤；其余文档执行跨文档一致性检测，通过语义配对和LLM矛盾判定。这种分流设计既保证了版本更新的精确追踪，又实现了跨文档矛盾的主动发现，且规则预过滤降低了LLM调用成本。
问答环节的实时冲突标注
即使入库时经过质量门禁，历史文档间可能仍有遗留冲突。系统在问答环节加入实时冲突检测，当检索到的段落来自不同文档且存在矛盾时，会在答案中明确标注冲突来源，而非简单任选一方。这确保了终端用户获得透明信息，避免被单一说法误导，同时保留了人工评估后放行入库的灵活性。
模块化部署与区域适配
系统采用模块化设计，支持整体部署或单模块接入现有知识库。海外区域可直接调用Amazon Bedrock，无需管理GPU；中国区域因Bedrock不可用，需在GPU实例上自建LLM推理服务。Embedding使用fastembed，CPU即可运行，降低了入门门槛。这种灵活性使企业能根据自身基础设施和区域合规要求选择部署方式。
Q&A
民航企业知识库为什么需要入库质量门禁？
因为标准RAG只管“存”不管“质”，无法应对同一文档的版本差异和不同文档对同一事项描述的矛盾。对民航这类合规性要求极高的行业，知识库里有矛盾比没有知识库更危险，员工会默认信任系统回答。
入库预审核是如何自动分流处理文档的？
系统先用Embedding计算新文档与库中每份文档的整体相似度，按降序排列。同名文档或相似度≥0.85判定为疑似版本更新，执行版本对比（章节对齐+字级diff）；其余文档执行跨文档一致性检测（语义配对+LLM矛盾判定）。结果合并为预审核报告供人工确认后才入库。
系统如何解决同一手册多版本混淆的问题？
同一逻辑文档在知识库中仅保留一份active版本参与RAG检索。新版本入库并确认后，旧版本自动标记为inactive，仍可查看和溯源，但不再出现在问答检索结果中，避免新旧版本同时被检索到导致矛盾回答。
带冲突标注的RAG问答是如何工作的？
用户提问后，系统语义检索top-K相关段落，对检索结果做跨文档冲突检测（Jaccard 2-gram相似度门控+LLM确认），然后拼接context和冲突提示交由LLM生成答案，最终返回答案、来源引用和冲突标记。这样即使库中有历史矛盾，用户也能得到明确提示。
系统在文档解析方面做了哪些特殊处理？
doc_parser模块支持多后端自动切换，针对民航手册的左侧编号列、跨页表格、页眉页脚、空白模板等排版问题，采用通用规则+统计自适应优先、配置项兜底的设计。例如通过出现频率统计自动识别页眉页脚，按空单元格率过滤空白模板，并提供margin_number_x等配置项适配特殊排版。
这套系统适合哪些行业或场景？
适合“多层级制度文档+频繁版本迭代”的企业知识库，包括民航/交通的规章手册层级管理和适航文件版本追踪、金融机构的监管规章和内控手册一致性管理、医疗机构的诊疗规范和药品管理制度版本追踪与冲突检测、制造企业的质量管理体系文档修订管理。
