面向任务个性化的多模态少样本学习在视觉丰富的文档实体检索中的应用

本文介绍了一种收集海量、嘈杂、弱标注数据的方法，以弥补 VDER 设置中训练数据不足的缺陷，并提出了名为 DocuNet 的数据集。借助 DocuNet，提出了一种轻量级多模态体系结构 UniFormer，从文本、布局和图像裁剪中学习统一的表征。实验结果表明，将这个大规模数据集与 UniFormer 相结合可以在传统实体检索和少样本学习设置中取得改进。