熵不足以实现测试时适应性：从解开因素的角度
内容提要
本研究提出了去耦原型学习（DPL）和鲁棒熵自适应损失最小化（REALM）等方法，以提高测试时间自适应（TTA）的性能。通过主动样本选择和一致性正则化，显著改善了图像分类和语义分割的适应性。实验结果表明，这些方法在领域泛化和图像破坏基准上表现优异，有效解决了标签噪声和模型稳定性问题。
延伸解读
熵最小化在TTA中的局限与改进方向
文章指出，仅依赖熵最小化进行测试时自适应存在明显不足：模型对初始分配、异常值和批次大小敏感，且容易受噪声样本干扰。为此，研究者从聚类视角提出EBTTA方法，并引入主动样本选择与Fisher正则化，以缓解灾难性遗忘。这些改进表明，提升TTA鲁棒性需要超越简单的熵最小化，结合样本筛选与参数约束。
伪标签噪声的应对策略：DPL与一致性正则化
使用伪标签进行交叉熵微调时，标签噪声会严重影响自适应效果。DPL方法通过解耦原型学习，并引入基于内存的策略增强小批量处理的鲁棒性；当遇到不确定伪标签样本时，采用一致性正则化转移特征风格。实验显示，该方法在领域泛化基准上达到最先进性能，并可靠提升图像破坏基准上的自训练效果。
从离线到在线：TTA方法演进与稳定性提升
文章梳理了TTA从离线到在线场景的演进。针对在线测试时自适应，ROID方法通过确定性和多样性加权、源模型与自适应模型的加权平均以及先验校正，解决了模型性能下降问题。同时，SAR方法利用群组及层规范化稳定调整，并消除嘈杂测试样本，在野外测试方案下计算效率更高。这些工作共同推动了TTA在复杂场景下的实用化。
Q&A
去耦原型学习（DPL）方法的主要作用是什么？
DPL方法主要解决了伪标签导致的标签噪声问题，并增强了小批量处理的鲁棒性。
鲁棒熵自适应损失最小化（REALM）方法如何提高自适应过程的准确性？
REALM方法通过改进噪声样本问题，提高了自适应过程的准确性。
什么是熵基于测试时间自适应（EBTTA）方法？
EBTTA方法是一种针对分布漂移的测试时间自适应方法，旨在改善模型在新数据上的适应性。
主动样本选择准则在测试时间自适应中有什么作用？
主动样本选择准则用于确定可靠和不冗余的样本，以最小化测试时适应的熵损失。
如何缓解模型的“灾难性遗忘”问题？
通过引入Fisher正则化器，约束重要的模型参数，使其不会发生剧烈变化，从而缓解“灾难性遗忘”。
LLM-TTA技术的应用场景是什么？
LLM-TTA技术适用于低资源和高资源环境，改善模型在外部数据上的鲁棒性。
