测试时间自适应与状态空间模型
内容提要
本文介绍了多种测试时间自适应技术，如Test-Time Self-Training（TeST）和MEMO-CL，旨在提高模型在分布变化下的适应性。这些方法在目标检测和图像分类任务中表现优越，尤其在处理未标记数据和应对非平稳数据分布方面，通过动态网络选择和自监督学习等策略提升了模型的鲁棒性和准确性。
延伸解读
测试时间自适应的核心挑战
文章指出，深度神经网络在训练分布之外的数据上表现不佳，而测试时间自适应旨在不访问源数据或目标标签的情况下，让模型适应测试分布。这带来了几个关键挑战：如何避免熵最小化的早期收敛和不稳定性，如何处理非平稳数据分布中的突发转变，以及如何在在线场景中平衡适应性与稳定性。这些挑战驱动了从自训练到贝叶斯框架等多种方法的提出。
方法演进：从自训练到动态网络选择
文章回顾了测试时间自适应方法的演进。早期方法如TeST采用学生-老师结构学习鲁棒表示，MEMO-CL利用增强样本进行无监督适应。随后，研究转向更复杂的场景：T-SaS通过贝叶斯框架捕捉数据突变并动态选择网络，PETAL利用Fisher信息矩阵进行参数重置以应对非平稳领域转移。这些方法逐步从静态适应走向动态、概率化的适应策略。
实际应用中的权衡与局限
文章提到，在线测试时间自适应在真实场景中面临局限性，因此提出了保守方法如LAME目标，通过凸凹过程求解以提升表现。此外，非平稳标签转移的半监督分类问题需要自适应调整未知的动态边缘标签概率。这些工作表明，测试时间自适应并非万能，需根据数据分布变化的速度和可用资源在适应性与计算成本之间权衡。
Q&A
什么是Test-Time Self-Training（TeST）技术？
TeST技术通过学生-老师结构学习不变和强鲁棒性表示，以提高模型在分布变化下的适应性。
MEMO-CL方法如何改善测试性能？
MEMO-CL利用未标记数据的自适应方法，最小化测试时由于分布变化导致的性能下降，取得了3%的进展。
T-SaS贝叶斯框架的主要功能是什么？
T-SaS框架通过离散分布建模变量捕捉数据突变，并实现动态网络选择以适应不同分布。
在线测试时间自适应方法在真实场景中的表现如何？
该方法在真实场景中表现良好，并提出使用LAME目标的保守方法以解决其局限性。
测试时间适应（TTA）有哪些应用和优化方法？
TTA的应用包括紧分测试时间领域适应、测试时间批适应等，研究了不同学习场景的优化方法。
PETAL方法如何应对非平稳目标领域转移？
PETAL方法利用数据驱动模型参数重置机制，表现出更好的预测性能和不确定性指标。
