高效利用语言先验进行场景文本定位
内容提要
本文综述场景文本识别与检测的多项研究，包括基于Transformer的端到端框架、弱监督文本生成、文本与图像联合场景表示、缓解词汇依赖的互学习策略、语言感知视觉模型、视觉-语言预训练检测、单点标注序列预测及AE TextSpotter等方法，这些方法显著提升了准确性与效率。
延伸解读
语言先验如何提升场景文本定位
文章综述的多项研究显示，引入语言信息能有效缓解纯视觉模型在注意力漂移或部分视觉缺失时的识别错误。例如LVP模型通过级联式优化和语言信息挖掘，在保持低复杂度的同时达到最佳性能；AE TextSpotter则在视觉特征基础上加入语言特征，在歧义性样本上性能提升超过4%。这些案例表明，语言先验有助于减少检测与识别中的歧义。
弱监督与单点标注降低标注成本
针对场景文本标注昂贵的问题，文章提到了多种降低标注依赖的方法。例如，基于弱监督学习的场景文本生成方法通过跨语言生成和字体分类器保证内容结构，提高了识别精度；单点标注方法将定位与识别视为序列预测任务，使用自回归Transformer预测序列，无需昂贵的边界框标注即可达到最先进效果。这些策略为实际应用提供了更经济的方案。
多模态联合表征的互补优势
文章指出，文本与图像联合编码能产生描述性的场景嵌入。在nuScenes数据集上的消融实验表明，文本和光栅图像的联合编码器优于各自单独的编码器，证实了两种表示方法具有互补优势。类似地，视觉-语言预训练通过三个pretext tasks学习上下文化联合表征，显著提升了多种文本检测器的性能，说明多模态融合是提升场景文本定位的有效途径。
Q&A
场景文本识别中如何解决词汇依赖问题？
文章提出了一种名为“mutual learning”的简单而有效的模型训练策略，成功缓解了词汇依赖问题，并提高了场景文本识别的性能。
AE TextSpotter 在文本识别中有什么创新？
AE TextSpotter 在视觉特征的基础上加入了语言特征，用以减少检测过程中的歧义，在极具歧义性的样本上性能优于其他最先进的方法超过4%。
如何利用语言先验提升场景文本检测性能？
文章提出了利用视觉-语言预训练学习得到的上下文化联合表征来提高场景文本检测器的性能，通过三个pretext tasks进行预训练，在标准基准测试中显著提高了各种代表性文本检测器的性能。
单点标注在场景文本识别中如何实现？
文章提出使用单点标注替代昂贵的边界框标注，将场景文本定位和识别视为序列预测任务，并使用自回归Transformer模型预测序列，可达到最先进的识别效果。
弱监督学习如何用于场景文本生成？
文章提出了一种基于弱监督学习的场景文本生成方法，通过跨语言生成分离内容和样式特征，引入整合式注意力模块和预训练字体分类器，保证生成图片的完整内容结构并填补不同语言文本风格差距，显著提高了场景文本识别精度。
文本和图像联合表示在交通场景中有什么优势？
文章提出了一种基于文本的交通场景表示方法，使用预训练语言编码器，文本表示与传统光栅图像表示结合可以产生描述性的场景嵌入，在nuScenes数据集上显著改进，消融实验表明文本和光栅图像的联合编码器优于各自编码器，证实了两种表示方法具有互补优势。
