RAG 教程笔记（Task02）
内容提要
当前主流的RAG文档加载器包括PyMuPDF、TextLoader和DirectoryLoader，适用于不同文档格式。文本分块是RAG流程的关键，分块策略包括固定大小、递归字符和语义分块，旨在提升信息检索的精度和处理效率。
延伸解读
RAG文档加载器的多样性
当前的RAG文档加载器如PyMuPDF、TextLoader和DirectoryLoader各有特点，适用于不同的文档格式和场景。选择合适的加载器可以显著提高文档处理的效率和准确性，尤其是在科研和技术领域。
文本分块策略的重要性
文本分块是RAG流程的核心，合理的分块策略能够提升信息检索的精度。固定大小分块虽然简单，但可能在语义边界处切断文本，递归字符分块和语义分块则能更好地保持语义一致性，适应不同文档的需求。
分块策略的选择与风险
选择合适的分块策略需考虑文档的特性和模型的上下文限制。过大的文本块可能导致信息丢失和检索失败，因此在设计分块时应关注块的大小和主题一致性，以确保模型的最佳性能。
Q&A
RAG文档加载器有哪些主流工具？
主流的RAG文档加载器包括PyMuPDF、TextLoader、DirectoryLoader、Unstructured、FireCrawlLoader、LlamaParse、Docling、Marker和MinerU。
文本分块在RAG流程中有什么重要性？
文本分块是RAG流程的关键步骤，能够满足模型上下文限制，避免信息丢失和主题稀释，从而提升信息检索的精度。
有哪些文本分块策略？
基础分块策略包括固定大小分块、递归字符分块和语义分块，分别适用于不同的文本处理需求。
PyMuPDF的主要特点是什么？
PyMuPDF支持PDF到Markdown转换，适合科研文献和技术手册，开源免费且支持GPU加速。
语义分块的实现原理是什么？
语义分块通过识别语义主题变化的地方进行切分，确保每个分块具有高度的内部语义一致性。
ChunkViz工具的功能是什么？
ChunkViz是可视化分块工具，帮助用户理解分块逻辑，通过不同颜色块展示每个chunk的边界和重叠部分。
