R-Adapter：零样本模型微调新突破，提升鲁棒性与泛化能力 | ECCV 2024 - 晓飞的算法工程笔记
原文中文，约9600字，阅读约需23分钟。发表于：。大规模图像-文本预训练模型实现了零样本分类，并在不同数据分布下提供了一致的准确性。然而，这些模型在下游任务中通常需要微调优化，这会降低对于超出分布范围的数据的泛化能力，并需要大量的计算资源。论文提出新颖的Robust Adapter（R-Adapter），可以在微调零样本模型用于下游任务的同时解决这
本论文介绍了一种名为R-Adapter的新型微调方法，用于提高视觉-语言预训练模型在下游任务中的性能。R-Adapter通过集成轻量级模块和自我集成技术来提高鲁棒性。论文还提出了适用于视觉-语言下游任务的MPM-NCE损失函数，以确保精确对齐和区分性特征学习。实验证明，R-Adapter方法在各种任务中取得了最先进的性能，并且使用的参数更少。
