InstructDoc：一份用于指令驱动的视觉文档理解零样本泛化的数据集
内容提要
该文综述文档AI与视觉语言模型进展，涵盖DocVQA、DUDE等数据集，Bi-VLDoc、DocFormerv2等文档理解模型，LVIS-Instruct4V、InstructCV、Instruct-Imagen等视觉指令与生成方法，以及基于指令的信息抽取任务InstructIE。
延伸解读
文档理解数据集与模型的发展脉络
文章梳理了文档AI领域从DocVQA、DUDE等数据集到Bi-VLDoc、DocFormerv2等模型的进展。这些工作共同指向一个趋势：文档理解正从单一任务向多任务、多领域评估演进，并更强调模型对文档结构、语言和布局的联合建模能力。读者可借此把握该领域从基准构建到模型创新的整体脉络。
视觉指令方法的跨任务泛化尝试
LVIS-Instruct4V、InstructCV、Instruct-Imagen等工作展示了视觉指令在生成与理解任务中的潜力。它们通过自然语言统一任务表示，并利用大规模预训练模型进行微调，从而提升对未知任务的泛化能力。这些方法为文档理解提供了新思路，但文章也指出其应用仍有限，需进一步验证。
指令驱动信息抽取的挑战与空间
InstructIE任务要求系统根据特定指令抽取信息，文章指出当前模型在该任务上表现有希望但仍有改进空间。这反映了指令驱动方法在真实场景中的难点：如何准确理解复杂指令并适应不同文档类型。读者应关注该任务中固有的挑战，如指令多样性和标注质量对模型性能的影响。
Q&A
DocVQA数据集是什么？它主要解决什么问题？
DocVQA是一个基于文档图像的视觉问答数据集，旨在推动文档图像理解的研究。它提供了文档图像上的问答对，要求模型根据文档内容回答问题。该数据集的分析显示，现有模型在理解文档结构的问题上表现不佳，与人类表现存在较大差距。
DUDE数据集有什么特点？它和DocVQA有什么区别？
DUDE（文档理解数据集和评估）旨在纠正视觉丰富文档理解的研究进展，包含来自各个行业、领域和多页的视觉丰富文档的问题、答案和布局。它通过多任务和多领域的评估设置，更准确地模拟真实世界中泛化和适应低资源环境的需求。与DocVQA相比，DUDE更注重实际意义的基准标准，涵盖更广泛的文档类型和任务。
Bi-VLDoc模型是如何提升文档理解性能的？
Bi-VLDoc是一种预训练模型，通过双向视觉语言监督策略和视觉语言混合注意机制，完全探索和利用视觉和语言之间的交互作用，以学习具有更丰富语义的更强的跨模态文档表示。在文档理解、文档分类和文档视觉问答等领域，其效果显著优于现有模型。
LVIS-Instruct4V数据集是如何构建的？它有什么作用？
LVIS-Instruct4V是通过使用来自LVIS的图像激励强大的GPT-4V生成220K个视觉对齐和上下文感知指令而构建的细粒度视觉指令数据集。实验证明，高质量的视觉指令数据可以显著提高现有最先进的大型多模态模型LLaVA-1.5在各类基准测试中的性能。
InstructIE任务是什么？它面临哪些挑战？
InstructIE是一种新的信息提取任务，要求系统根据特定的指示或指南提取信息。作者从中文维基百科和高质量众包注释实例构建了InstructIE数据集，并评估了各种基线模型。结果表明，当前模型表现出有希望的性能，但仍有改进空间，案例分析强调了该任务中固有的挑战。
InstructCV模型如何将计算机视觉任务统一为语言界面？
InstructCV提出了一种计算机视觉任务的统一语言界面，将多个计算机视觉任务转化为文本到图像生成问题，其中文本描述任务，生成的图像为视觉编码的任务输出。它使用大规模语言模型改写提示模板，创建多模态多任务训练数据集，并通过InstructPix2Pix架构微调文本到图像扩散模型，使其成为基于指导的多任务视觉学习器。实验证明，InstructCV在竞争中表现出色，并具备对未见数据、类别和用户指令的泛化能力。
