RAG 教程笔记（Task02）
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
当前主流的RAG文档加载器包括PyMuPDF、TextLoader和DirectoryLoader，适用于不同文档格式。文本分块是RAG流程的关键，分块策略包括固定大小、递归字符和语义分块，旨在提升信息检索的精度和处理效率。
🎯
关键要点
- 当前主流的RAG文档加载器包括PyMuPDF、TextLoader和DirectoryLoader，适用于不同文档格式。
- 文本分块是RAG流程的关键，分块策略包括固定大小、递归字符和语义分块。
- PyMuPDF支持PDF到Markdown转换，适合科研文献和技术手册，开源免费且支持GPU加速。
- TextLoader用于基础文本文件加载，处理纯文本，轻量高效。
- DirectoryLoader支持批量目录文件处理，适合混合格式文档库。
- Unstructured能够解析多种格式文档，提供统一接口和智能解析。
- FireCrawlLoader用于网页内容抓取，适合在线文档和新闻的实时获取。
- LlamaParse专注于深度PDF结构解析，适合法律合同和学术论文，解析精度高。
- Docling是模块化企业级解析工具，兼容IBM生态，适合企业合同和报告。
- Marker支持PDF到Markdown转换，专注于科研文献和书籍。
- MinerU集成多模态解析，适合学术文献和财务报表。
- 文本分块的关键在于满足模型上下文限制，过大的块会影响信息检索的精度。
- 基础分块策略包括固定大小分块、递归字符分块和语义分块。
- 固定大小分块简单直接，但可能在语义边界处切断文本。
- 递归字符分块通过分隔符层级递归处理，改善超长文本的处理效果。
- 语义分块在语义主题变化处切分，确保每个分块具有高度的内部语义一致性。
- 基于文档结构的分块利用文档格式的结构标记实现更智能的分割。
- 其他开源框架中的分块策略包括基于文档元素的智能分块和面向节点的解析与转换。
- ChunkViz是可视化分块工具，帮助理解分块逻辑。
➡️
