CREPE: 坐标感知的端到端文档解析器
内容提要
本文介绍了多种先进的光学字符识别（OCR）技术，包括无OCR的信息提取模型、CLIP优化的物体关系预测、统一的OmniParser模型和通用的UPOCR模型。这些模型在不同任务上实现了最先进的性能，推动了OCR领域的发展。
延伸解读
技术演进脉络
从2018年的Attend, Copy, Parse到2024年的PEaCE数据集，文章呈现了OCR领域从解决低资源识别到构建统一模型的演进路径。早期工作关注端到端训练和弱监督学习，而近期研究则倾向于多任务统一和跨模态增强，反映了OCR技术从单一任务向通用化、集成化发展的趋势。
统一模型成为趋势
OmniParser和UPOCR均致力于用单一模型处理多种OCR任务。OmniParser在文本定位、关键信息提取和表格识别上表现优异，UPOCR则通过可学习的任务提示统一了三个像素级OCR任务。这种统一范式减少了针对特定任务设计模型的冗余，为未来通用OCR模型提供了可借鉴的策略。
跨模态方法提升关系预测
CREPE基于CLIP模型，通过对三个边界框的文本表示进行对比训练，在物体关系预测上取得了最先进成果。这表明视觉-语言预训练模型在结构化信息提取中具有潜力，能够增强对文档中实体间关系的理解，为文档解析中的关系抽取提供了新思路。
弱监督与低资源场景的应对
TCPN采用弱监督学习框架，仅使用关键信息序列作为监督信号，在多个基准测试上达到最先进表现。Attend, Copy, Parse则直接利用端到端数据训练，避免复杂的单词级标注。这些方法降低了数据标注成本，更适合现实世界中标注资源有限的信息提取任务。
Q&A
什么是CREPE模型，它的主要功能是什么？
CREPE模型是一种基于CLIP的物体关系预测模型，通过对边界框的文本表示进行对比训练，取得了最先进的预测成果。
OmniParser模型在文本解析中表现如何？
OmniParser模型在文本定位、关键信息提取和表格识别任务上表现出色，取得了最先进的性能。
UPOCR模型的创新之处是什么？
UPOCR模型通过统一的像素级OCR接口和基于视觉Transformer的结构，统一了多样的OCR任务，并在多个任务上实现了最先进性能。
CoRec模型是如何解决协调识别任务的？
CoRec模型包含协调识别器和从句边界检测器，经过实验验证其在多个领域的数据集上有效且高效。
Attend, Copy, Parse模型的应用场景是什么？
该模型适用于低资源情况下的光学字符识别任务，能够直接在端到端数据上进行训练，适合现实生活的信息提取。
TCPN框架的主要特点是什么？
TCPN框架采用弱监督学习，仅使用关键信息序列作为监督信号，并在多个基准测试上展现了最先进表现。
