应对在线测试时间自适应中的时间相关数据流的多样性感知缓冲
内容提要
本文综述测试时间适应（TTA）研究，涵盖多项方法：实例感知批量归一化与预测平衡采样提升非独立同分布鲁棒性；ROID结合确定性与多样性加权、源模型与自适应模型加权平均及先验校正；主动样本选择结合Fisher正则化缓解灾难性遗忘；SoTTA通过高置信统一类别采样与熵-锐度最小化抵抗噪声；SAR利用群组与层规范化稳定TTA；REALM改进噪声样本下的熵自适应；T-SaS采用贝叶斯框架检测分布突变并动态选择网络。
延伸解读
从独立同分布到非独立同分布：TTA 的鲁棒性挑战
文章指出，许多 TTA 方法在独立同分布假设下表现良好，但现实数据流往往是非独立同分布的。IABN 和 PBRS 通过实例感知归一化和预测平衡采样来应对这一挑战，并在真实非独立同分布流上验证了优势。这提示读者，评估 TTA 方法时需关注其是否针对数据流的非独立同分布特性设计，而非仅看标准基准上的精度。
噪声样本下的稳定适应：SoTTA 与 SAR 的不同路径
SoTTA 从输入层面通过高置信统一类别采样提升鲁棒性，并在参数层面用熵-锐度最小化抵抗噪声样本的大梯度；SAR 则从归一化入手，结合群组与层规范化稳定 TTA，并消除嘈杂测试样本、鼓励权重保持平稳最小值。两者都针对噪声样本，但切入点不同，读者可根据实际噪声类型和计算效率需求理解其适用场景。
灾难性遗忘与分布突变：主动选择与动态网络
主动样本选择结合 Fisher 正则化，通过筛选可靠且不冗余的样本更新模型，并约束重要参数避免剧烈变化，从而缓解灾难性遗忘。T-SaS 则用贝叶斯框架检测分布突变边界，并动态选择网络中的神经元子集来适应不同分布。这两类方法分别应对适应过程中的遗忘风险和突变风险，体现了 TTA 在持续数据流中的不同设计思路。
Q&A
测试时间适应（TTA）中，如何提升模型对非独立同分布数据流的鲁棒性？
可以通过实例感知批量归一化（IABN）和预测平衡库采样（PBRS）来增强模型对非独立同分布数据流的鲁棒性。实验表明，该方法在非独立同分布环境下优于现有方法，且在独立同分布假设下也能达到同等性能。
ROID方法是如何解决在线测试时自适应中的性能下降问题的？
ROID方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均，以及自适应添加先验校正方案等技术手段，解决了在线测试时自适应的问题，并在多种数据集、模型和场景下取得了新的标准。
在测试时间适应中，如何缓解灾难性遗忘问题？
可以通过主动样本选择准则确定可靠和不冗余的样本，以最小化测试时适应的熵损失，同时引入Fisher正则化器约束重要的模型参数使其不会发生剧烈变化，从而缓解灾难性遗忘问题。
SoTTA算法如何实现对噪声样本的鲁棒性？
SoTTA通过高置信度统一类别采样实现输入层面的鲁棒性，并通过熵-锐度最小化提高模型参数对噪声样本大梯度的鲁棒性。在各种噪声场景下，该方法优于基准测试时适应方法，并在没有噪声样本的情况下达到可比较的准确度。
SAR方法如何稳定测试时间适应？
SAR方法通过分析测试样本及训练数据的分配差异，发现批处理层对测试时间调整法的不稳定性有重要影响，于是提出基于群组及层规范化的调整稳定方法，并通过消除嘈杂测试样本及鼓励模型权重保持平稳的最小值来进一步稳定TTA，效果比先前方法更稳定且计算效率更高。
T-SaS框架如何检测和适应分布突变？
T-SaS是一个贝叶斯框架，使用离散分布建模变量捕捉数据的突变，然后设计一个模型通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠，采用动态遮罩策略来支持不同分布之间的互相转移。实验证明该方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。
