极道
·
nlm-ingestor：RAG基于规则的开源PDF解析器
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
此存储库包含多种文件格式的自定义解析器，包括PDF、HTML、DOCX、PPTX等。基于规则的解析器比基于视觉模型的解析器更快且实用。PDF解析器具有章节和段落提取、表格识别、去除重复页眉页脚等功能。使用Tika进行文档解析，可与llmsherpa LayoutPDFReader结合使用。与Azure文档智能相比，此解析器速度快且成本低。
🎯
关键要点
- 此存储库包含多种文件格式的自定义解析器，包括PDF、HTML、DOCX、PPTX等。
- 基于规则的解析器比基于视觉模型的解析器速度快100倍，适用于大文本层PDF。
- PDF解析器使用nlmatics修改版Tika，支持章节、段落、表格、列表等功能。
- PDF解析器提供OCR选项，能够处理扫描页面。
- 安装和运行PDF解析器需要最新版本的Java和nlm-ingestor。
- Tika支持多种文件格式，适合文档解析，XHTML输出有助于RAG文档分块。
- 与Azure文档智能相比，此解析器速度快且成本低，适合大规模文档处理。
➡️
