BiSeNet 的复仇：高效的多任务图像分割
内容提要
本文介绍了多种图像分割网络架构，如BiSeNet、Mask2Former和SegFormer等。这些网络通过不同模块和机制提升了分割精度和速度，尤其在Cityscapes和CamVid数据集上表现突出，推动了实时语义分割技术的发展。
延伸解读
实时分割的平衡之道
BiSeNet 通过 Spatial Path 和 Context Path 分别处理高分辨率细节和语义上下文，再经 Feature Fusion Module 融合，在 Cityscapes 上达到 68.4% mIoU 和 105 FPS，体现了速度与精度的平衡。后续的 BiSeNet V2 进一步用 Detailed Branch 和 Semantic Branch 分离低级与高级特征，延续了高效实时分割的思路。
Transformer 架构的演进
从 Mask2Former 的掩蔽注意力机制到 PEM 利用视觉特征冗余性，再到 SegFormer 结合 Transformer 与轻量 MLP 解码器，基于 Transformer 的分割方法在多个任务上超越专用架构。SegFormer-B5 在 Cityscapes 验证集上达到 84.0% mIoU，并展现出零样本鲁棒性，显示了该方向的潜力。
统一分割与 3D 扩展
MaskFormer 通过预测二进制掩膜统一了语义分割和全景分割，简化了多任务处理。OneFormer3D 则将统一查询思想扩展到 3D 场景，在 ScanNet 测试排行榜上取得第一名，并在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了领先的语义、实例和全景分割结果，推动了分割技术向三维领域发展。
Q&A
BiSeNet的主要特点是什么？
BiSeNet通过引入Spatial Path、Context Path和Feature Fusion Module，实现了高分辨率和感受野的平衡，在Cityscapes测试数据集上达到68.4%的平均IOU，速度为105 FPS。
Mask2Former架构的优势是什么？
Mask2Former应用掩蔽注意力机制，优于当前最佳的专门任务架构，适用于全景分割、实体分割和语义分割。
SegFormer框架的设计理念是什么？
SegFormer将Transformers和轻量级多层感知机解码器结合，旨在提高语义分割的效率。
PEM架构如何提高计算效率？
PEM架构利用视觉特征的冗余性来限制计算并提高效率，同时引入多尺度特征金字塔网络。
STDC网络的创新点是什么？
STDC网络通过融合低级和深层特征，实现高分割准确率和快速推理速度。
OneFormer3D模型的应用成果如何？
OneFormer3D在ScanNet测试排行榜中取得第一名，展示了领先的分割结果。
