COMET：用于在线无源通用领域自适应的对比均值教师
内容提要
本文综述了多种测试时自适应与领域适应方法，如RMT、CMT、ROID、CoNMix和AdaContrast，分别解决连续分布变化、在线自适应和无源多目标适应等问题，利用对比学习、伪标签和权重平均等技术提升鲁棒性，并在多个基准上达到最优。
延伸解读
技术演进脉络
文章梳理了从2020年到2024年测试时自适应与领域适应的发展，包括RMT、CMT、ROID、CoNMix、AdaContrast等方法。这些工作逐步解决了连续分布变化、在线自适应、无源多目标适应等挑战，并引入了对比学习、伪标签、权重平均等技术。读者可从中了解该领域的研究趋势和关键突破。
核心方法对比
不同方法各有侧重：RMT用对称交叉熵损失和对比学习应对连续变化；CMT统一均值教师与对比学习；ROID通过加权平均和先验校正解决在线自适应；CoNMix结合核范数最大化和MixUp知识蒸馏处理无源多目标适应；AdaContrast则利用自监督对比学习和在线伪标签。这些差异反映了问题设定和技术路线的多样性。
实际应用考量
文章提到的方法在多个基准上达到最优，但实际部署时需注意：在线自适应可能面临灾难性遗忘和错误累积；无源适应需依赖伪标签质量；多目标适应可能增加计算开销。此外，卫星图像分割等特定场景的分布偏移问题已有针对性方案，但通用性仍需验证。
Q&A
RMT方法是如何实现测试时自适应的？
RMT是一种基于简洁的对称交叉熵损失与对比学习的鲁棒性平均教师方法，可以在测试时自适应地应对连续和逐渐变化的数据分布转移，并在多个基准测试集上达到了最先进的结果。
CMT框架如何结合自训练和对比学习？
CMT是一个统一的通用框架，将mean-teacher自训练和对比学习两种范式自然地集成在一起，通过伪标签进行特征抽取和优化，从而稳定提高目标域上的性能，取得了新的最优表现。
ROID方法解决了在线测试时自适应的哪些问题？
ROID方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等技术手段，解决了在线测试时自适应的问题，以及由于多种因素引起的模型性能下降问题，并在普遍TTA领域取得了新的标准。
CoNMix框架包含哪些组件？
CoNMix框架由Consistency with Nuclear-Norm Maximization和MixUp knowledge distillation（MKD）组成，利用目标伪标签改善目标适应性，并使用伪标签细化方法减少噪声伪标签，同时MKD用于改进多个目标域的泛化能力。
AdaContrast方法如何实现无源域数据的测试时间自适应？
AdaContrast通过自监督对比学习和在线伪标签提取相结合的方式，实现了无访问源域数据的测试时间自适应，并在主要基准测试中达到了最先进水平。
基于原型的均值教师（PMT）在多源领域适应中有什么优势？
PMT使用类原型而非特定于域的子网络来保持域特定信息，并使用对比损失来对不同类别进行对齐和分离，从而减小了参数大小与源域数量的关系，降低了内存问题和可能的过拟合，并在多个具有挑战性的物体检测数据集上优于现有的多源领域适应方法。
