OMH：通过最佳匹配层次结构实现无监督语义分割的结构稀疏化
内容提要
本文介绍了一种新的无监督语义分割框架EQUSS，结合高维空间聚类和信息压缩，取得了先进的分割效果。同时，提出了语义关注网络SAN和分层语义分割架构HSSN，均在多个数据集上表现优异。此外，研究探讨了自监督特征提取框架和基于区域的半监督分割方法，展示了在无监督语义分割领域的潜力和有效性。
延伸解读
无监督语义分割的技术脉络
文章梳理了从2016年到2023年无监督语义分割的发展，包括基于稀疏子集选择的方法、轻量级聚类框架、自监督特征提取框架STEGO、语义关注网络SAN、分层语义分割架构HSSN以及最新的EQUSS框架。这些工作从不同角度推进了无监督分割，如利用高维聚类、信息压缩、对比学习、层次结构等，反映了该领域从传统方法到深度学习方法的演进。
EQUSS框架的创新点
EQUSS结合了高维空间聚类和产品量化，旨在实现更好的聚类和有效的信息压缩，并在三个标准基准测试中取得了最先进的结果。此外，该工作还分析了无监督语义分割特征的熵，这是从信息理论角度理解无监督语义分割的初步尝试，为后续研究提供了新的视角。
分层语义分割的进展
文章介绍了分层语义分割的多种方法，如HSSN架构通过像素嵌入和类别层次结构实现像素级多标签分类；Hierarchical Segment Grouping利用多视角协同分割和聚类变换器确保层次语义一致性；OmniSeg3D则通过层次对比学习将2D分割提升为一致的3D特征场。这些工作表明分层分割在2D和3D场景中均取得显著进展。
半监督与自监督的补充
除了无监督方法，文章还提及基于区域的半监督分割方法，仅使用3%到7%的完整标签数据即可达到与全标签方法相当的表现，显著优于使用相同标签子集的有监督方法。同时，自监督特征提取框架STEGO通过对比损失增强特征聚类紧凑性，在CocoStuff和Cityscapes上优于其他算法，展示了自监督在语义分割中的潜力。
Q&A
什么是EQUSS框架，它的主要特点是什么？
EQUSS框架是一种新的无监督语义分割框架，结合高维空间聚类和信息压缩，取得了先进的分割效果。
语义关注网络SAN的作用是什么？
语义关注网络SAN通过语义关注模块生成像素级和语义级特征，在无监督图像语义分割任务中表现优异。
HSSN架构在分层语义分割中有什么优势？
HSSN架构有效应用于分层语义分割，实现像素级多标签分类，提升了分割效果。
自监督特征提取框架的作用是什么？
自监督特征提取框架通过对比损失函数增强特征聚类的紧凑性，提升了无监督语义分割的效果。
无监督语义分割的潜力和有效性如何体现？
通过研究自监督特征提取和基于区域的半监督分割方法，展示了无监督语义分割在多个数据集上的潜力和有效性。
基于区域的半监督分割方法的优势是什么？
该方法结合可微的无监督损失函数和贝叶斯模型，仅用少量标签数据就能实现与全标签方法相当的表现。
