本文介绍了一项名为文档层次的图表问答(DCQA)的新任务,旨在通过文档布局分析提取图表并进行问答。研究开发了强大的问题-答案生成引擎,提升了图表视觉问答的能力,并提出了新型的图表问答模型,经过广泛实验验证,模型在多个数据集上表现优异,为图表理解和多模态模型的发展提供了新思路。
该文综述了布局生成研究,包括LayoutGAN建模2D元素几何关系、RALF通过检索示例提升布局质量、READ用递归自编码器生成文档布局,以及非自回归生成、属性条件布局、Transformer布局模型、CGL-GAN图形布局和线框检测等,涵盖图像、文档与设计布局生成。
本文介绍了一种名为READ的新框架,利用递归自动编码器生成多样的文档布局,并通过学习文档数据集的结构分解和边界框标注,获得结构表示形式,并将其映射到高斯空间,生成新的文本布局。同时,引入组合度量来测量文档布局之间的结构相似性,并在文本检测任务中证明了所生成布局的作用。
完成下面两步后,将自动完成登录并继续当前操作。