EAFormer：基于边缘感知 Transformer 的场景文本分割
内容提要
本文介绍了多种基于Transformer架构的文本定位和语义分割方法，如TextFormer、EFormer和EDAFormer。这些方法通过多任务建模、特征提取和自适应模块的结合，显著提高了文本检测和分割的准确性与效率，尤其在双语数据集和移动设备上表现优异。
延伸解读
技术演进脉络
从2017年的场景文本检测到2024年的EDAFormer，文本分割领域经历了从CNN到Transformer的范式转变。早期方法注重消除中间步骤，而近期工作如TextFormer和EDAFormer则通过多任务建模和注意力机制提升性能。这一演进反映了对端到端效率和全局上下文建模的持续追求。
轻量化与移动端部署
HAFormer和SeaFormer等模型专注于轻量级设计，在移动设备上实现高性能。HAFormer在2080Ti GPU上达到105FPS，SeaFormer在ARM设备上取得最佳准确率与延迟权衡。这表明Transformer架构正逐步适应资源受限环境，为实际应用铺平道路。
多模态与跨任务泛化
EPCFormer将音频与文本结合，实现跨模态定位与分割，展示了Transformer在多媒体理解中的潜力。同时，SRFormer统一分割与回归，EFormer应用于肖像抠图，说明这些方法具有跨任务泛化能力，可扩展至更广泛的视觉理解任务。
Q&A
TextFormer 是什么？
TextFormer 是一种基于 Transformer 架构的查询式端到端文本定位算法，采用多任务建模和自适应全局聚合模块，提升了双语数据集上的文本检测和定位效果。
EFormer 方法的主要优势是什么？
EFormer 方法通过建立语义和轮廓探测器，增强了模型对语义和轮廓特征的注意力，在肖像抠图任务中表现优于之前的方法。
EDAFormer 如何提高语义分割性能？
EDAFormer 结合了无嵌入变换器编码器和全注意力解码器，在多个公共基准中展示了高效的语义分割性能，并减少了计算成本。
HAFormer 的设计特点是什么？
HAFormer 结合了 CNN 和 Transformer 的特性，通过自适应多尺度特征提取和简化计算，实现了轻量级语义分割中的高性能。
SegFormer 在语义分割中表现如何？
SegFormer 是一种高效的语义分割框架，最好的模型在 Cityscapes 验证集上达到了 84.0% 的 mIoU，显示了出色的零-shot 鲁棒性。
SeaFormer 的应用场景是什么？
SeaFormer 是一种用于移动语义分割的新方法，在移动设备上实现了最佳的分割准确性和延迟权衡，展示了其作为通用移动友好主干的潜力。
