学习视觉条件令牌以纠正完全测试时的领域偏移
内容提要
本文提出了一种基于视觉域提示的连续测试时间适应方法，以应对未标记目标域的变化。该方法结合域特定和域不可知提示，以及一致性策略，显著提升了模型在多个基准测试中的性能。此外，研究探讨了使用视觉变换器进行模型微调的有效性，并提出了领域知识提取和适应的新策略，展示了在不同数据集上的优越表现。
延伸解读
方法核心：双提示与一致性策略
文章提出的连续测试时间适应方法，核心在于结合域特定提示和域不可知提示，并设计基于一致性的提示自适应策略。这种设计使模型在不访问源数据的情况下，能适应持续变化的未标记目标域。实验在四个基准测试上验证了其显著性能提升，为测试时适应提供了新思路。
视觉变换器微调与隐私保护
文章还探讨了使用视觉变换器（ViT）对转换图像进行微调的新方法，该方法能防止模型准确度下降，并在CIFAR-10和CIFAR-100的加密图像上得到验证。此外，针对ViT的隐私保护DNN方法，允许使用加密图像训练和测试，避免性能下降，在ImageNet等数据集上优于传统方法。
CTTA任务与ViDA、HKA策略
研究提出了连续测试时间适应（CTTA）任务及视觉域适配器（ViDA），通过修改预训练模型适应不断变化的目标领域。同时，稳态知识分配（HKA）策略为各个ViDA分配不同等级的知识，以应对实际应用中不同领域的变化，在分类和分割任务上实现了最新表现。
领域知识提取与元学习优化
文章提出利用预训练模型和源域信息，从少量无标签数据中提取领域知识，通过知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现。在多个基准测试中，该方法在领域知识提取方面优于之前的工作，展示了元学习在适应中的有效性。
Q&A
什么是连续测试时间适应方法？
连续测试时间适应方法是一种在不访问源数据的情况下，适应持续变化的未标记目标域的技术。
该方法如何提高模型性能？
该方法结合域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略，显著提升了模型在多个基准测试中的性能。
视觉变换器在该研究中的作用是什么？
视觉变换器用于对转换图像进行模型微调，防止模型准确度下降，并在加密图像的情况下保持性能。
什么是领域知识提取？
领域知识提取是通过建立知识库和使用领域特定提示生成器等技术，从有限数据中提取领域相关信息的过程。
该研究提出了哪些新策略？
研究提出了Continual Test-Time Adaptation (CTTA)任务、Visual Domain Adapter (ViDA)和Homeostatic Knowledge Allotment (HKA)策略等新策略。
如何解决输入域转移问题？
通过引入基于向量量化的特征向量作为视觉分类网络输入，并使用TokenAdapt和ColorAdapt等数据增强策略来解决输入域转移问题。
