mPLUG-DocOwl2：高分辨率压缩无OCR多页文档理解
内容提要
本文介绍了DUBLIN、mPLUG-DocOwl和DocPedia等新型模型在文档图像理解中的应用。这些模型通过结合视觉和文本信息，在多个基准测试中表现优异，特别是在OCR-free文档理解方面，显著提升了性能和泛化能力。此外，研究提出了GRAM方法和DocLayLLM，解决了多页文档问答和文本丰富文档理解的挑战，展现了其在效率和效果上的优势。
延伸解读
OCR-free 文档理解的技术演进
文章梳理了从 DUBLIN、mPLUG-DocOwl 到 DocPedia 等模型的发展脉络，这些工作共同推动了无需 OCR 的文档理解。DUBLIN 利用空间和语义信息，在 WebSRC 数据集上 EM 和 F1 分别达到 77.75 和 84.25，与文本型 SOTA 可比；mPLUG-DocOwl 通过联合指令调优增强泛化；DocPedia 则在频域处理高分辨率图像，用有限视觉标记捕捉更多信息。这些进展表明，视觉与文本的深度融合正逐步替代传统 OCR 流程。
多页与高分辨率场景的针对性方案
针对多页文档问答，GRAM 方法无需复杂预训练即可将单页模型扩展至多页，通过文档级指定层和可学习令牌促进跨页信息流动。对于高分辨率文档，DocPedia 在频域处理视觉输入，HRVDA 则利用内容过滤和指令过滤机制高效训练与推理。这些方案分别解决了多页场景的跨页推理和高分辨率下的计算效率问题，并在相应基准上取得先进性能。
DocLayLLM 的轻量化设计思路
DocLayLLM 是一种专为文档理解设计的多模态大语言模型扩展，它将视觉补丁令牌和二维位置令牌集成到大语言模型中，并结合链式思维技术。这种设计提升了模型对 OCR 信息的感知能力，在轻量化训练设置下，其表现超越了依赖 OCR 的方法和无 OCR 竞争者。这表明，通过结构化的视觉与位置信息注入，可以在不增加过多训练成本的情况下有效增强文档理解能力。
Q&A
DUBLIN模型在文档理解中有什么优势？
DUBLIN模型通过利用文档图像中的空间和语义信息，在各项基准测试中表现优异，尤其在WebSRC数据集上取得了可比于文本型SOTA方法的结果。
mPLUG-DocOwl模型如何提升OCR-free文档理解能力？
mPLUG-DocOwl模型通过联合训练语言、视觉和文档指令，增强了OCR-free文档理解能力，并在不同下游任务上展现了良好的泛化能力。
DocPedia模型的创新之处是什么？
DocPedia模型通过在频域处理视觉输入，能够捕捉更多的视觉和文本信息，增强了模型的感知和理解能力。
GRAM方法如何改善多页文档问答？
GRAM方法能够将单页模型扩展到多页设置，增强本地页面级理解，并促进跨页面信息流动，在多页文档问答基准测试中表现出先进的性能。
DocLayLLM模型的设计目的是什么？
DocLayLLM是一种专为文档理解设计的多模态大语言模型，旨在提升文档理解能力，超越传统的OCR依赖方法。
高分辨率可视文件助手（HRVDA）有什么特点？
HRVDA利用内容过滤机制和指令过滤模块，在高分辨率图像的模型训练和推理方面取得高效的性能，并在多个文档理解数据集上实现了最先进的性能。
