零样本泛化的测试时间原型移动:与视觉语言模型
原文中文,约300字,阅读约需1分钟。发表于: 。通过引入测试时间原型偏移(Test-Time Prototype Shifting,TPS)框架,我们在共享嵌入空间中调制每个类别的原型,动态地学习每个原型的偏移向量,从而弥合领域差距,提高分类准确性,并在减少资源需求的情况下取得创新性能的优势。
本研究提出了Decoupled Prototype Learning (DPL)方法,解决了使用伪标签进行交叉熵损失微调时受标签噪声影响的问题。通过基于内存的策略增强小批量处理的鲁棒性,并使用一致性正则化方法转移特征风格,提高测试时自适应的可靠性。实验证明该方法在领域泛化和图像破坏基准上取得了最先进的性能。