层次化多模态预训练以理解视觉丰富的网页
内容提要
该文综述文档理解领域的多模态预训练模型，包括LayoutLM、LayoutLMv2、LayoutXLM、MarkupLM、LAMPreT、VaLM等，通过联合建模文本、布局与图像信息，在表单理解、信息抽取、文档分类等任务上超越强基线，并展望多模态学习挑战。
延伸解读
从布局感知到标记语言理解
文章梳理的模型演进显示，文档理解正从依赖视觉布局信息转向直接处理HTML/XML等标记语言。MarkupLM针对动态渲染和可交互文档，弥补了LayoutLM等基于固定布局方法的不足。这一转变意味着，对于网页这类结构灵活、内容动态生成的文档，标记语言本身携带的语义信息可能比截图式的布局特征更关键。
多模态融合的层次化设计
LAMPreT采用分层Transformer框架，通过分层预训练理解文档布局并分类组合内部内容，以支持文本块填充和图像建议。这种设计表明，文档中的文本、图像和布局并非简单拼接，而是存在层次关系。读者可关注：分层结构如何影响模型对局部细节与全局结构的权衡，以及它在生成式任务中的实际表现。
跨语言与多语言表单理解
LayoutXLM面向多语言文档理解，并在XFUND多语言表单理解基准上验证，结果优于现有SOTA模型。这提示多模态预训练的价值不仅限于单语言场景，跨语言迁移能力对全球化文档处理很重要。不过，文章未展开具体语言覆盖范围和性能差距，实际部署时仍需针对目标语言验证效果。
视觉知识增强的语言建模
VaLM通过图像检索模块和视觉知识融合层，让语言建模参考文本与图像的视觉知识，在颜色、大小、形状等常识推理任务上优于强基线。这代表多模态预训练的一种思路：不局限于文档内部图文，而是引入外部视觉知识。其局限在于依赖检索质量，且文章未说明在文档理解任务上的直接表现。
Q&A
MarkupLM 是什么？它有什么特点？
MarkupLM 是一种预训练模型，能够对 HTML/XML 等标记语言的文档进行理解和分析。相比现有的基于布局的预训练方法，它在布局可交互和动态渲染的数字文档中性能更好，在多个文档理解任务上超越强基线模型。
LayoutLMv2 在哪些任务上取得了最先进的结果？
LayoutLMv2 在 FUNSD、CORD、SROIE、Kleister-NDA、RVL-CDIP 和 DocVQA 等下游视觉丰富的文档理解任务上取得了新的最先进结果。
LayoutXLM 主要用于什么？它在哪个数据集上验证了效果？
LayoutXLM 是一种基于 LayoutXLM 的多模态预训练模型，用于多语言文档理解。它在名为 XFUND 的多语言表单理解基准数据集上进行了验证，结果表明在跨语言预训练方面优于现有的 SOTA 模型。
LAMPreT 模型是做什么的？
LAMPreT 是一种基于多模态 Transformer 的分层框架，通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，从而更好地进行文本块填充和图像建议两项任务。
VaLM 模型有什么创新点？它在哪些任务上表现优异？
VaLM 是一种对语言建模进行视觉增强的预训练框架，通过图像检索模块检索相应图像，使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识。它在各种视觉知识密集型的常识推理任务上表现优异，在推理对象的常识（包括颜色、大小和形状）方面优于强语言和视觉语言基线。
这篇综述论文主要涵盖了哪些内容？
该综述论文全面介绍了深度学习多模态体系结构的演变和增强，以应对文本、视觉和音频特征的多样化跨模态和现代多模态任务，包括最新的任务特定的深度学习方法、多模态预训练目标，以及从最先进的预训练多模态方法到统一体系结构。文章还结合具体数据集和案例分析展示了多模态学习的挑战、间隔和潜在研究主题。
