SwinTextSpotter v2：场景文字识别的协同优化
内容提要
本文综述了基于Transformer的场景文本定位与识别研究进展，涵盖多种端到端框架：利用Transformer编码与识别转换机制免矫正模块引导文本定位；ESTextSpotter通过建模区分性与交互特征提升性能；统一网络结合卷积特征与二维注意力实现任意形状文本的鲁棒定位识别；此外还包括利用文本对齐层与字符空间监督的联合检测识别框架、以单点标注替代边界框的SPTS v2与自回归序列预测方法、领域自适应模型、Mask TextSpotter，以及弱监督下无需定位注释的TTS和查询式TextFormer等，这些方法多在标准数据集上取得领先表现。
延伸解读
技术演进：从矫正模块到免矫正引导
文章梳理了场景文本识别框架的演进脉络。早期方法如2018年的联合检测识别框架依赖文本对齐层和字符级监督，2019年的统一网络则用卷积特征与二维注意力避免中间过程。2022年的SwinTextSpotter v2通过Transformer编码和识别转换机制，无需额外矫正模块或字符级注释即可引导定位，体现了减少人工设计环节的趋势。
标注成本：单点标注的兴起与效率优势
文章多次提及降低标注成本的探索。SPTS v2用单点注释替代传统边界框，并声称推断速度提升14倍；2021年的自回归序列预测方法同样以单点标注将定位识别视为序列任务；TTS在弱监督下无需定位注释。这些工作表明，减少昂贵的手工标注是场景文本识别领域的重要方向，但文章未给出各方法在相同条件下的直接对比。
性能表现：标准数据集上的领先与局限
文章指出，上述方法多在ICDAR2013、ICDAR2015、Total-Text等标准数据集上取得领先表现，涵盖正常与不规则文本。然而，这些结果主要基于英文或特定数据集，TextFormer虽提及双语数据集优势，但整体上跨语言、跨领域的泛化能力仍需更多验证。领域自适应模型的出现也侧面说明实际场景中存在分布差异问题。
Q&A
SwinTextSpotter v2 提出的新框架有什么特点？
该框架使用 transformer encoding，并通过一种新的识别转换机制，在不需要额外的矫正模块或字符级别注释的情况下显式地引导文本定位，从而在多种数据集上显著优于现有方法。
ESTextSpotter 是如何提升文本检测和识别性能的？
ESTextSpotter 通过建模区分性和交互特征，明显提高了文本检测和识别的性能。
SPTS v2 相比传统方法有什么优势？
SPTS v2 采用单点注释替代传统昂贵的手工注释，使用基于自回归 Transformer 的 IAD 预测所有文本实例的中心点，PRD 进行文本识别。实验证明其性能超越现有单点文本定位器，并实现 14 倍更快的推断速度，且单点注释比非点注释和多边形边界框更适合场景文本识别。
TextTranSpotter (TTS) 在弱监督下如何训练？
TTS 可以在全监督和弱监督的情况下训练，使用基于 Hungarian loss 的新型损失函数，不需要昂贵的本地化注释，通过每个单词检测学习单一潜在表示，实现了与先前最先进的全监督方法相当的性能。
TextFormer 如何处理任意形状的文本？
TextFormer 采用多任务建模的联合语义理解，并通过自适应全局聚合模块处理任意形状的文本，通过弱监督和全标注的语料库信息提升检测和端到端文本定位结果，在双语数据集上实现了显著优势。
Mask TextSpotter 在哪些数据集上进行了实验？
Mask TextSpotter 在 ICDAR2013、ICDAR2015 和 Total-Text 数据集上进行了实验，展现出在场景文本检测和端到端文本识别任务方面的最新水平。
