基于 VLMs 的异构标签体系下的跨领域语义分割
内容提要
本文提出了一系列无监督领域自适应方法，利用视觉基础模型和视觉语言模型，增强跨模态性能。通过动态加权一致性损失和类别级别特征分布规则化，提升了图像语义分割的泛化能力，实验结果表明这些方法在多个基准上优于现有技术。
延伸解读
技术演进：从传统对齐到基础模型赋能
文章梳理了无监督领域自适应语义分割的发展脉络。早期方法（如2020-2021年）主要依赖图像级对齐和类别级特征分布正则化，通过最小化源域与目标域在嵌入空间中的分布距离来提升泛化性。而2023年后的研究转向利用视觉基础模型（VFM）和视觉语言模型（VLM）的先验知识，如VFMSeg流水线和SemiVL，显著提升了跨域性能。这一演进表明，基础模型的引入正在改变传统域自适应的技术路径。
方法创新：一致性正则化与提示微调
文章重点介绍了两类创新方法。一是基于不确定性感知和区域一致性的一致性正则化，通过动态加权一致性损失和ClassDrop/ClassOut策略，使教师模型向学生模型传递的知识更可靠。二是基于视觉语言模型的领域自适应，结合参数高效的提示微调和三元组损失训练，提高了开放词汇的普适性。这些方法在多个跨域基准上优于现有技术，展示了结合基础模型与域自适应技术的潜力。
应用拓展：从图像到视频与3D场景
文章不仅关注图像语义分割，还涵盖了视频和3D激光雷达场景的域自适应。例如，针对视频语义分割，提出结合视频对抗训练和自我训练的方法，有效将模拟数据迁移到实际场景；针对激光雷达，利用隐式表面表示进行辅助任务学习，缓解不同模式或采集条件导致的性能差异。这些工作表明，无监督域自适应技术正从2D图像向更复杂的模态扩展，以应对真实世界多样化的数据分布。
Q&A
VFMSeg 流水线的主要功能是什么？
VFMSeg 流水线利用 2D 视觉基础模型的先验知识，增强跨模态的无监督领域自适应框架，以提供更精确的无标签目标领域标签。
如何提高开放词汇的普适性？
通过结合参数高效的提示微调和三元组损失训练策略，基于视觉语言模型的方法提高了开放词汇的普适性。
不确定性感知和地区一致性在跨域语义分割中的作用是什么？
不确定性感知和地区一致性通过动态加权的一致性损失提升知识传递的可靠性，使得从教师模型到学生模型的知识更具意义。
新提出的无监督域自适应方法有哪些关键步骤？
该方法通过影像级对齐和类别级别特征分布规则化，分为粗、细两个阶段来解决域差异问题。
在线无监督域自适应算法的主要目标是什么？
该算法旨在通过最小化源潜在特征与目标特征之间的分布距离，改善图像的语义分割模型的泛化性能。
SemiVL 方法如何提高语义决策边界的性能？
SemiVL 方法结合视觉-语言模型的先验知识与半监督语义分割，通过空间微调策略和语言引导解码器设计来提高性能。
