CMFN: 跨模态融合网络用于不规则场景文字识别
内容提要
本文汇总了多项跨模态研究：场景图融合网络提升图文检索；MATRN增强文字识别；图卷积结合文本与图像区域改进细粒度分类；CPFEAN降低无关片段干扰，使检索指标提升5%–10%；字符注意力网络增强场景文本识别鲁棒性；文本引导面部识别改善低质量图像识别；多语言文本检测F值达85.02%；跨模态语义指导融合解码；编码器融合网络实现图像分割最优性能；图文本建模使检索准确率提升17%。
延伸解读
跨模态融合的共性思路
文中多项研究都围绕视觉与文本特征的交互展开：场景图融合网络通过内部和交叉模态融合增强特征；MATRN促进视觉与语义特征互动；图卷积网络结合场景文本实例与显著图像区域进行多模态推理。这些方法共同说明，跨模态任务的关键在于让两种模态的信息在特征层面相互补充，而非简单拼接。
检索任务的量化提升
在图像-文本检索方向，CPFEAN通过降低非重要图片和文本片段的参与度，在MS-COCO和Flickr30K上使rSum指标超过现有方法约5%至10%；基于图的文本建模方法结合CNN与GCN，使检索准确率提升17%。这些数据表明，减少无关片段干扰和引入图结构建模是提升检索性能的有效路径。
文字识别与检测的鲁棒性改进
场景文字识别方面，字符注意力全卷积网络在语义分割网络中引入字符注意机制和词形成模块，在不失精度的情况下更具鲁棒性；多语言文本检测模型通过SFM Swin Transformer、AS-HRFPN和全局语义分割分支，F-measure达到85.02%，比基准模型高4.71%。两者分别从识别和检测环节回应了自然场景中文字变化的挑战。
跨模态方法的场景延伸
除检索和文字识别外，跨模态思路还延伸到细粒度分类、面部识别和图像分割：图卷积结合文本与图像区域在Con-Text和Drink Bottle数据集上优于此前技术；文本引导的面部识别利用面部属性和语义信息改善低质量图像识别；编码器融合网络借助语言逐步优化多模态特征，在四个基准数据集上取得最优性能且无需后处理。
Q&A
CMFN 这个跨模态融合网络主要解决什么问题？
CMFN 主要针对不规则场景文字识别，通过跨模态融合网络提升识别性能。文章汇总了多项跨模态研究，涵盖图文检索、文字识别、图像分割等任务，但核心主题是跨模态融合网络在不规则场景文字识别中的应用。
MATRN 方法在文字识别上有什么创新和效果？
MATRN（Multi-modAl Text Recognition Network）通过促进视觉和语义特征之间的互动来提高文字识别性能，并在 7 项基准测试上取得了最先进的表现。
CPFEAN 如何提升图文检索的准确性？
CPFEAN 通过降低非重要图片和文本片段的参与度，提高对重要片段的对齐相似性，减少对齐过程中无关区域的参与度并相对提高突出词的权重，从而改进检索准确性。在 MS-COCO 和 Flickr30K 数据集上，rSum 指标超过现有方法约 5% 至 10%。
多语言文本检测模型的性能如何？
该模型通过引入 SFM Swin Transformer 特征提取网络、AS-HRFPN 特征融合网络和全局语义分割分支，改进了自然场景中多语言文本的检测准确性和难度。实验结果显示 F-measure 值为 85.02%，比基准模型高出 4.71%。
编码器融合网络（EFN）在图像分割中有什么特点？
EFN 将视觉编码器转换为多模态特征学习网络，利用语言逐步优化多模态特征，并嵌入协同注意机制使多模态特征平行更新更具协同性。同时提出边界增强模块（BEM）增强对细节的关注。在四个基准数据集上，不同评价指标下均取得最先进性能，且无需后处理。
基于图的文本建模方法在跨模态检索中效果如何？
该方法结合卷积神经网络和 Graph Convolutional Network，通过相似度度量并采用成对相似度损失函数训练模型，在准确率提升 17% 的前提下，成为最先进的方法。
