Marker 是开源 PDF 转 Markdown 工具,流程分六步:用 PyMuPDF 转换格式,OCR 识别文字,定制 LayoutLMv3 模型检测布局与列顺序,Nougat 将公式转为 LaTeX,T5 模型清理文本。它支持多语言,可去除页眉页脚,准确率约 63%,速度约为 Nougat 的十倍,每任务约需 2GB 显存。对数字原生 PDF 效果佳,但处理老旧扫描书籍仍不及商业方案。
Nougat是一个用于学术文档的神经光学理解模型,可以识别文本、数学公式和表格,并以Markdown格式输出。模型使用了Swin Transformer和mBART。作者构建了一个训练数据集,收集了arXiv上的文章并转换为HTML5文件,然后转换为Mathpix Markdown格式。训练时使用了作者构建的数据集以及PMC和IDL数据集。Nougat的推断速度较慢,但精度较高。与Pix2Text相比,Nougat模型较大,但支持更多功能。P2T目前只能恢复段落级别的内容,未来计划完善版面恢复的全部功能。
完成下面两步后,将自动完成登录并继续当前操作。