仅通过前向传播进行测试时间模型适应
内容提要
本研究提出了一种高效的抗遗忘测试时间适应（EATA）方法，通过主动样本选择和Fisher正则化减轻模型遗忘问题。EATA利用校准技术提高预测置信度，并通过差异损失鼓励一致性预测。实验验证了该方法在图像分类和语义分割中的有效性，并指出未来研究方向。
延伸解读
EATA 如何平衡适应与遗忘
EATA 通过主动样本选择准则筛选可靠且非冗余的测试样本，仅对这些样本进行熵最小化更新，避免噪声样本干扰。同时，Fisher 正则化约束重要模型参数，防止其剧烈变化，从而缓解灾难性遗忘。这种设计在适应新分布的同时，保留了源域知识，适用于分布数据与无分布数据混合的场景。
EATA-C 的校准机制解析
EATA 的熵损失可能对不确定样本过度自信。EATA-C 引入校准技术：通过完整网络与子网络的预测差异衡量模型不确定性，并设计差异损失鼓励一致预测；同时利用预测标签差异作为数据不确定性指标，通过最小最大熵正则化有选择地调整置信度。这提升了预测可靠性，尤其在分布数据上。
实验验证与未来方向
图像分类和语义分割实验验证了 EATA 的有效性，表明其在适应新分布时能减轻遗忘。文章还指出未来研究方向，如进一步优化样本选择准则、探索更高效的正则化方法，以及将 EATA 扩展到更多任务。这些方向有助于推动测试时间适应在真实场景中的落地。
Q&A
EATA方法的主要目标是什么？
EATA方法的主要目标是通过主动样本选择和Fisher正则化来减轻模型的遗忘问题，优化测试时间适应。
EATA方法如何解决模型的灾难性遗忘问题？
EATA方法通过引入Fisher正则化器来约束重要模型参数，防止其发生剧烈变化，从而缓解灾难性遗忘问题。
什么是主动样本选择准则，它在EATA中有什么作用？
主动样本选择准则用于识别可靠且非冗余的测试样本，以最小化测试时适应的熵损失。
EATA-C与EATA有什么不同？
EATA-C是EATA的改进版本，采用校准技术来解决熵损失导致的过度自信预测问题。
EATA方法在实验中表现如何？
实验验证了EATA方法在图像分类和语义分割任务中的有效性。
未来的研究方向是什么？
未来研究方向包括探讨在线测试时间自适应方法在不同真实世界场景中的表现及其局限性。
