宝玉的分享 ·

深入探索：AI 驱动的 PDF 布局检测引擎源代码解析 [译]

💡 原文中文，约4900字，阅读约需12分钟。

📝

内容提要

Marker 是开源 PDF 转 Markdown 工具，流程分六步：用 PyMuPDF 转换格式，OCR 识别文字，定制 LayoutLMv3 模型检测布局与列顺序，Nougat 将公式转为 LaTeX，T5 模型清理文本。它支持多语言，可去除页眉页脚，准确率约 63%，速度约为 Nougat 的十倍，每任务约需 2GB 显存。对数字原生 PDF 效果佳，但处理老旧扫描书籍仍不及商业方案。

🔎

延伸解读

六阶段流水线的设计逻辑

Marker 将 PDF 转 Markdown 拆解为准备、OCR、布局识别、列排序、公式处理、文本清理六个阶段，每个阶段由不同工具或定制模型负责。这种设计让各环节可独立替换或优化，例如 OCR 可选 Tesseract 或 PyMuPDF 直接提取，公式转换则交给 Nougat。读者可借此理解复杂文档处理为何需要多模型协作，而非单一模型端到端解决。

定制 LayoutLMv3 的双重角色

文章指出 Marker 训练了两个定制 LayoutLMv3 模型：一个用于布局分割，识别标题、表格、公式等 11 类元素；另一个用于列检测与排序，确保多栏文档按从上到下、从左到右的顺序输出。这解释了为何 Marker 能较好处理双栏论文，也提示读者：布局检测的准确性高度依赖模型对特定文档类型的训练覆盖。

性能取舍：速度与准确率的平衡

Marker 准确率约 63%，略低于 Nougat 的 65%，但处理速度约为后者的 10 倍（每页 0.3 秒 vs 3 秒），且每任务仅需约 2GB 显存。这意味着在需要批量处理数字原生 PDF 的场景下，Marker 以微小准确率代价换取显著效率提升。但文章也提醒，面对 archive.org 的老旧扫描书籍，其表现仍不及 Amazon Textract 等商业方案。

适用边界与使用预期

文章结论强调 Marker 对数字原生 PDF（如 LaTeX 生成）效果极佳，对高品质扫描文档也有不俗表现，但处理古老书籍时遇到难题。读者应据此设定预期：Marker 适合现代论文、教科书等数字文档的快速转换，而非替代商业 OCR 处理历史档案。开源方案在追赶商业级工具上仍有差距，但已为 FOSS 文档 AI 做出重要贡献。

❓

Q&A

Marker 是什么工具？它主要能做什么？

Marker 是一个开源的 PDF 转 Markdown 工具，能够将 PDF、EPUB 和 MOBI 文件转换成 Markdown 格式。它特别适用于书籍和科学论文，可以去除页眉页脚、将数学公式转为 LaTeX、格式化代码块和表格，并支持多种语言。

Marker 的工作流程分为哪几个步骤？

Marker 的工作流程分为六个阶段：1) 准备阶段，用 PyMuPDF 转换格式；2) OCR 文本识别，使用 Tesseract 或 OCRMyPDF；3) 布局检测，使用定制的 LayoutLMv3 模型识别表格、图表、标题等；4) 列检测和排序，用另一个 LayoutLMv3 模型确定列顺序；5) 公式/代码处理，用 Nougat 将公式转为 LaTeX；6) 文本清理与优化，用定制的 T5 模型去除噪声并整理格式。

Marker 的转换准确率和速度如何？与 Nougat 相比有什么优势？

Marker 的准确率约为 63%，与 Nougat 的 65% 相当，但远高于原生 get text 方法的 28%。速度方面，Marker 处理每页约需 0.3 秒，是 Nougat（约 3 秒/页）的 10 倍。内存使用上，Marker 平均每任务需约 2GB VRAM，在 A6000 GPU 上可同时处理约 24 个文档。

Marker 在处理哪些类型的 PDF 时效果较好？有哪些局限性？

Marker 对数字原生 PDF（如通过 LaTeX 制作的 PDF）效果极佳，也能较好地处理高品质扫描文档。但在处理老旧扫描书籍（如来自 archive.org 的书籍）时表现不佳，不及 Amazon Textract 或 Azure Document AI 等商业解决方案。

Marker 使用了哪些 AI 模型和工具？各自的作用是什么？

Marker 使用了多个 AI 模型和工具：PyMuPDF 用于格式转换和文本提取；Tesseract/OCRMyPDF 用于 OCR；定制的 LayoutLMv3 模型用于布局检测和列排序；Nougat 用于将公式图像转为 LaTeX；定制的 T5 模型用于文本后处理。此外，Ray 用于分布式计算扩展。

如何安装和使用 Marker 将 PDF 转换为 Markdown？

可以在 Marker 的 GitHub 页面找到官方安装指南。安装后，使用命令行工具转换，例如：python convert_single.py --parallel_factor 2 --max_pages 10 input.pdf output.md。该命令支持并行处理和指定最大页数。

🏷️