U-DIADS-Bib:古代手稿文档布局分析的全面和少样本像素精确数据集
内容提要
该文综述文档布局分析与文本标注研究,涵盖少样本学习框架、无需二值化的文本行检测评估、半自动标注流程,以及DocBank、PubLayNet、LIE、BaDLAD、M⁶Doc等数据集;并介绍TransDLANet、MViTv2结合Mask R-CNN及Detectron2、YOLOv8、SAM在孟加拉文档布局分析中的应用与效果。
延伸解读
少样本学习如何缓解古籍标注瓶颈
文章指出,古代手写文献的像素级文本标注耗时且现实数据稀缺。为此,作者提出一种高效的少样本学习框架,并在公开数据集 DIVA-HisDB 上验证其性能可与当前最先进的完全监督方法媲美。这意味着在标注样本有限的情况下,该框架仍有望达到接近全监督的效果,为古籍布局分析提供了一条降低标注成本的可行路径。
评估方案与标注流程的配套改进
除了模型本身,文章还涉及两项支撑性工作:一是提出基于基线的文本行检测评估方案,无需二值化即可处理倾斜和旋转文本行,并在 ICDAR 2017 比赛中应用;二是介绍半自动标注数字文档的流程,在西班牙管理层 24 个数据源上可达 99% 的准确性。这些工作分别从评估和标注环节为文档布局分析提供了更实用的工具。
多数据集与多方法并存的领域图景
文章综述了 DocBank、PubLayNet、LIE、BaDLAD、M⁶Doc 等多个数据集,以及 TransDLANet、MViTv2 结合 Mask R-CNN、Detectron2、YOLOv8、SAM 等方法在孟加拉文档布局分析中的应用。其中 M⁶Doc 数据集上 TransDLANet 达到 64.5% 的 mAP。这些内容表明该领域正围绕不同语言、文档类型和任务需求形成多样化的数据与方法生态,读者可据此了解各资源的定位与适用场景。
Q&A
古代手写文献分析中,像素级文本标注耗时且数据稀缺的问题,有什么解决方案?
文章提出了一种高效的少样本学习框架,在公开数据集DIVA-HisDB上试验表明,其性能可与当前最先进的完全监督方法媲美,有效解决了古代手写文献分析中像素精确文本标注耗时且现实世界信息很少可用的问题。
如何评估倾斜和旋转文本行的检测效果,而不需要二值化?
文章提出了一种基于基线的文本行检测算法评估方案,无需二值化即可处理倾斜和旋转的文本行,并在ICDAR 2017比赛中使用该评估方案介绍了最新文本行检测算法的效果。
DocBank数据集有什么特点,对文档布局分析有什么帮助?
DocBank是一个包含500K篇文档页面的基准数据集,具有细粒度的令牌级注释,用于研究文档布局分析的多模态方法。实验表明,使用DocBank训练出的模型可以准确识别各种不同类型文档的布局信息。
LIE数据集是做什么用的,规模有多大?
LIE是一个布局感知的文档级信息提取数据集,用于从视觉丰富的文档(VRD)中提取结构和语义知识以生成准确回复。它包含来自产品和官方文档中4,061页的62k注释,是已知最大的基于VRD的信息提取数据集。实验表明布局对基于VRD的提取至关重要。
在孟加拉文档布局分析中,Detectron2、YOLOv8和SAM各自表现如何?
研究使用Detectron2、YOLOv8和SAM理解孟加拉文档布局。Detectron2非常擅长找到和分离文本框和段落等文档的不同部分;YOLOv8在识别表格和图片方面表现良好;SAM帮助理解棘手的布局。通过比较准确性和速度,了解了它们在不同类型文档中的适用性。
TransDLANet方法在M⁶Doc数据集上的性能如何?
TransDLANet是一种基于transformer的文档布局分析方法,采用自适应元素匹配机制和构建分割分支,以更好地匹配真实情况并实现更精确的文档图像实例分割。在M⁶Doc数据集上达到了64.5%的mAP,该数据集具有多种注释类别的特点。