LOCR：基于位置引导的光学字符识别 Transformer
内容提要
该文综述多种OCR新方法：TrOCR采用图像与文本Transformer实现端到端识别，性能优于现有模型；DTrOCR利用生成式Transformer提升印刷、手写和场景文本识别；LevOCR基于视觉语言Transformer并行解码；此外还涉及无分割系统、布局感知语言模型、TextOCR及历史文献纠错等，均提高了识别准确率。
延伸解读
OCR技术演进：从传统到Transformer
文章梳理了多种基于Transformer的OCR新方法，如TrOCR、DTrOCR、LevOCR等，这些方法在印刷体、手写体和场景文本识别上均优于传统模型。这反映了OCR领域正从依赖CNN和RNN的架构转向以Transformer为核心，利用自注意力机制处理图像与文本的多模态信息，从而提升准确率和泛化能力。
端到端与无分割：简化OCR流程
TrOCR和收据识别模型均采用端到端方式，无需显式文本定位，直接输出字符序列。无分割系统则结合数据增强和合成数据，用CNN编码器提取特征。这些方法减少了传统OCR中复杂的预处理和后处理步骤，使系统更简洁高效，尤其适用于布局多变的场景如收据和自然场景文本。
历史文献OCR：迁移学习与纠错
针对历史手稿，TrOCR在少量训练下即可迁移到其他拉丁语系语言，性能与Transkribus相当或更好。此外，基于RNN和CNN的纠错方法在德语历史文献上降低了32.3%以上的字符误差。这表明Transformer模型结合迁移学习和后处理纠错，能有效应对历史文献的识别挑战。
Q&A
TrOCR是什么？它有什么特点？
TrOCR是一种端到端的文本识别方法，使用预训练的图像Transformer和文本Transformer模型，适用于印刷体、手写体和场景文本识别，准确率优于当前最先进的模型。
DTrOCR在文本识别上有什么创新？
DTrOCR使用Decoder-only Transformer作为生成式语言模型，是一种相对简单而有效的文本识别方法，在识别印刷、手写和场景文本方面比当前最先进方法表现更好。
LevOCR是如何工作的？
LevOCR是一种基于Vision-Language Transformer的新型场景文本识别器，利用交叉模态Transformer相互融合和逐步近似ground truth，通过模拟学习实现并行解码、动态长度变化和良好的可解释性。
无分割OCR系统有什么特点？
无分割OCR系统结合深度学习方法、数据增强方法和合成训练数据，使用大型文本语料库和2000多种字体渲染合成训练数据，通过几何失真和alpha-compositing数据增强技术模拟复杂自然环境，采用CNN编码器提取文本图像特征。
TextOCR是什么？它有什么贡献？
TextOCR是一个任意形状的场景文本检测和识别系统，利用TextVQA数据集中真实图像上的900K个文本单词，使用该系统训练的OCR模型PixelM4C在图像上进行场景文本推理，在TextVQA数据集上达到新的最新性能水平。
TrOCR在历史手稿识别上的表现如何？
TrOCR框架与SOTA HTR框架Transkribus相比，在历史手稿识别上表现出类似或更好的性能，且少量训练即可在英语以外的其他基于拉丁字母的语种上进行迁移学习。
