多尺度语义分割与改进的 MBConv 块
内容提要
该文综述语义分割的深度学习方法，涵盖全卷积网络（FCN）、残差网络、空洞卷积、多尺度融合与注意力机制。FCN实现端到端像素级预测，在PASCAL VOC等数据集上平均IU提升约20%。后续方法在Cityscapes等数据集上不断刷新最优结果，并推动移动端实时分割发展。
延伸解读
从FCN到实时分割的技术演进
文章梳理了语义分割的发展脉络：2014年FCN实现端到端像素级预测，在PASCAL VOC上平均IU提升约20%；随后残差网络、空洞卷积、多尺度融合与注意力机制相继引入，推动Cityscapes等数据集性能不断刷新。这一演进不仅追求精度，也逐步兼顾计算效率，为移动端实时分割奠定基础。
多尺度融合与注意力机制的作用
文章提到多尺度卷积神经网络和基于注意力机制的多尺度预测整合方法。前者用于深度预测、表面法线估计和语义标签等任务，后者通过层次化结构节省内存、提高训练速度和模型精度。这些方法共同应对全局信息不足与低分辨率输出的挑战，成为提升分割质量的关键。
实时分割的移动端实践
文章指出，基于全卷积神经网络的方法可在移动设备上实时运行，同时保持高平均交并比。MSFNet利用类边界监督和多特征融合模块，在Cityscapes和Camvid上取得优于现有方法的结果。这表明语义分割正从单纯追求精度转向兼顾效率，为自动驾驶、移动应用等场景提供可行方案。
Q&A
全卷积网络（FCN）在语义分割中实现了什么突破？
FCN实现了端到端的像素级预测，通过自适应大小输入和高效学习生成相应大小的输出，在PASCAL VOC 2012数据集上平均IU比之前方法提高了约20%，推理时间仅需三分之一秒。
残差网络在语义分割中有哪些应用和改进？
基于残差网络的高性能语义图像分割方法，评估了不同变体的完全卷积残差网络，提出了用低分辨率网络模拟高分辨率网络的方法，引入在线启动方法和传统退化法，在PASCAL VOC 2012和Cityscapes上取得了75%的平均重叠联合性能。
空洞卷积在语义分割中是如何应用的？
通过密集上采样卷积和混合空洞卷积框架，改进了像素级语义分割，在Cityscapes等数据集上达到了最先进结果。
多尺度融合在语义分割中有哪些方法？
MSFNet利用类边界监督和多特征融合模块实现实时语义分割，在Cityscapes和Camvid数据集上优于现有方法；还有基于注意力机制的多尺度预测整合方法，在Cityscapes和Mapillary Vistas上达到新最优。
注意力机制如何提升语义分割性能？
基于注意力机制的多尺度预测整合方法，其层次化结构能节省内存、提高训练速度和模型精度，在Cityscapes和Mapillary Vistas数据集上达到了新的最优结果。
移动端实时语义分割有哪些进展？
提出了一种基于全卷积神经网络的高计算效率方法，在实现高平均交并比的同时可在移动设备上实时运行；MSFNet也实现了实时语义分割并在Cityscapes和Camvid上取得更好结果。
