基于 CoRTe 的跨领域迁移学习：从黑盒到轻量级分割模型的一致可靠迁移
内容提要
该文综述了无监督域自适应语义分割的多项研究，涵盖知识蒸馏、不确定性一致性正则化、原型对齐、对比学习、元学习矫正及预测传输正则化等方法，并在BraTS、Cityscapes等基准上验证了跨域泛化性能。
延伸解读
方法演进：从黑盒蒸馏到不确定性建模
文章梳理了无监督域自适应语义分割的多条技术路线。早期工作如基于黑盒模型的知识蒸馏，通过指数混合衰减和熵最小化在BraTS上逼近白盒方法。随后，研究转向利用不确定性信息进行一致性正则化，并引入ClassDrop和ClassOut策略，在多个基准上超越先前方法。这反映了领域从单纯特征对齐向更精细的可靠性建模发展的趋势。
技术多样性：原型对齐、对比学习与元学习
除蒸馏和一致性正则化外，文章还涵盖了原型对齐、对比学习、在线分布匹配以及元学习矫正等方法。原型对齐通过匹配源域原型分布来泛化目标域；对比学习结合自我训练对齐语义类别；元学习框架则利用噪声转移矩阵矫正伪标签噪声。这些方法从不同角度解决域偏移问题，并在BraTS、Cityscapes等基准上验证了有效性。
评估基准与性能参考
文章提及多个跨域自适应基准，包括BraTS 2018、Cityscapes以及GTA5/SYNTHIA到Cityscapes的转换。其中，预测传输正则化器（RPT）在GTA5/SYNTHIA到Cityscapes任务上分别达到53.2%和51.7%的mIoU，被描述为当时最佳结果。这些数据为读者提供了不同方法性能对比的参考点，但需注意各方法实验设置可能不同。
Q&A
无监督域自适应语义分割中，知识蒸馏是如何应用的？
基于黑盒分割模型的无监督域自适应解决方案利用指数混合衰减的知识蒸馏方案逐步学习目标特定表示，并应用无监督熵最小化来规范目标域置信度，最终在BraTS 2018数据库上取得了与白盒源模型适应方法相当的性能。
什么是不确定性感知和地区一致性的跨域语义分割一致性正则化方法？
该方法通过利用目标样本的潜在不确定性信息，引入了动态加权的一致性损失，使得从教师模型传递到学生模型的知识更具意义和可靠性。同时，提出了一种ClassDrop掩蔽生成算法和ClassOut策略，实现了地区一致性的有效建模。实验表明，该方法在四个跨域自适应基准上优于现有方法。
如何通过原型对齐实现跨域语义分割？
通过学习源域的原型分布来将目标域分布与源域分布在嵌入空间中对齐，用于自适应预训练模型以便在目标域中泛化。
对比学习和自我训练在跨域语义分割中如何结合？
基于对比学习和自我训练的方法可以很好地应用于不同领域的实例进行语义分割，可以将语义类别在跨域上进行对齐，从而达到更好的结果。
元学习矫正框架如何用于无监督域自适应语义分割？
该框架通过噪声转移矩阵来模拟目标域伪标签噪声分布，建立元数据集来估计噪声转移矩阵，进而进行噪声矫正以增强模型对目标数据的泛化能力。实验结果表明该方法在三个基准测试上优于现有技术水平。
预测传输正则化器（RPT）在语义分割中有什么效果？
RPT利用语义分割的内在特性进行模型转移，从而提高模型的鲁棒性和准确性。作者还将RPT集成到对抗式分割框架中，在GTA5/SYNTHIA到Cityscapes数据集的转换中实现了历史上最好的结果：当从GTA5/SYNTHIA到Cityscapes转换时，模型的平均交并比(mIoU)分别为53.2％/51.7％。
