M3-VRD：多模态多任务多教师基于视觉丰富的表格文档理解
内容提要
该文综述视觉文档理解的多模态预训练进展，涵盖FormNetV2、Bi-VLDoc、DocFormerv2、StrucTexT等模型，采用图对比学习、双向视觉语言监督、多粒度Transformer等策略融合文本、视觉与布局信息，在FUNSD、CORD、SROIE等基准上取得最优性能，并应用于信息抽取、表格理解与多模态摘要。
延伸解读
多模态文档理解的技术脉络
文章梳理了从2019年到2023年视觉文档理解领域的技术演进，涵盖FormNetV2、Bi-VLDoc、DocFormerv2、StrucTexT等模型。这些工作共同趋势是融合文本、视觉与布局信息，并采用图对比学习、双向视觉语言监督、多粒度Transformer等策略。读者可借此把握该领域从早期图卷积方法到多模态预训练的发展路径。
基准性能与任务覆盖
多个模型在FUNSD、CORD、SROIE等基准上取得最优性能，任务覆盖信息抽取、表格理解、文档分类和文档视觉问答。例如FormNetV2在FUNSD、CORD、SROIE和Payment上建立新最先进性能，StrucTexT在FUNSD、SROIE和EPHOIE上优于现有方法。这表明多模态预训练在多样文档理解任务中具有广泛适用性。
实际应用与数据效率
文章提到信息抽取模型在真实发票和简历数据集上，F1值分别比强文本基线绝对提升6.3%和4.7%，且在少样本场景下仅需基线三十分之一的标注数据即可达到约90%的F1。这提示多模态方法在标注数据稀缺的实际业务中可能显著降低数据成本，但需注意其效果依赖于领域内无监督微调。
Q&A
FormNetV2 在哪些数据集上取得了最先进的性能？
FormNetV2 在 FUNSD、CORD、SROIE 和 Payment 基准测试上建立了新的最先进性能。
Bi-VLDoc 模型采用了什么策略来提升文档理解效果？
Bi-VLDoc 采用了双向视觉语言监督策略和视觉语言混合注意机制，以完全探索和利用视觉和语言之间的交互作用，学习具有更丰富语义的跨模态文档表示。
DocFormerv2 在视觉文档理解领域有什么贡献？
DocFormerv2 是一种多模态 Transformer 模型，应用于视觉文档理解领域，在多个数据集上取得了最先进的结果，并通过大量消融实验证明了其预训练和无监督任务设计的有效性。
StrucTexT 框架如何处理文档中的实体标记和链接任务？
StrucTexT 使用 transformer 构建了一个段-标记对齐的编码器来处理文档上下文中不同层面的实体标记和链接任务，并使用三个自监督任务设计了一种新颖的预训练策略，以有效地提取多模态信息。
多对多多模态摘要（M^3S）任务的目标是什么？
M^3S 任务旨在以任何语言为输入，生成任何语言摘要，并包括相应的图像序列。
在信息提取中，结合大型预训练语言模型和图神经网络的方法有什么优势？
该方法能高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。在真实世界的发票和简历数据集上，所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3%，在简历中 F1 绝对值增加了 4.7%。在少数样本情况下，需要比基线少 30 倍的批注数据才能在约 90% 的 F1 达到相同的性能水平。
