R-Adapter：零样本模型微调新突破，提升鲁棒性与泛化能力 | ECCV 2024 - 晓飞的算法工程笔记
内容提要
本论文介绍了一种名为R-Adapter的新型微调方法，用于提高视觉-语言预训练模型在下游任务中的性能。R-Adapter通过集成轻量级模块和自我集成技术来提高鲁棒性。论文还提出了适用于视觉-语言下游任务的MPM-NCE损失函数，以确保精确对齐和区分性特征学习。实验证明，R-Adapter方法在各种任务中取得了最先进的性能，并且使用的参数更少。
延伸解读
R-Adapter 如何兼顾鲁棒性与参数效率
传统鲁棒微调需微调整个模型，计算和存储成本高；参数高效微调（PEFT）虽节省资源，但在分布偏移下性能下降。R-Adapter 将轻量适配器集成到预训练模型中，通过动态集成、时间集成和权重空间集成三种自集成技术，在单个模型内实现集成效果，无需存储多个模型。实验表明，仅微调 13% 的 CLIP 编码器参数，便在多种任务上达到最先进性能，同时提升了对分布外数据的鲁棒性。
MPM-NCE 损失：针对多正样本对的改进
视觉-语言下游任务中，多个图像可能对应同一文本，反之亦然。传统 InfoNCE 损失只考虑单一正样本对，容易导致语义不匹配。MPM-NCE 损失通过软标签为多个正样本对分配概率，并引入角度边界惩罚负样本对，从而确保多个图像-文本对的精确对齐，并学习到更具区分性的特征。这一改进在分布内和分布外场景下均提升了任务性能。
自集成技术的实现与优势
R-Adapter 通过三种自集成技术增强鲁棒性：适配器丢弃在训练时随机停用适配器，动态生成子网络集成；时间集成累积适配器权重的指数移动平均，捕捉学习过程；权重空间集成通过重参数化在预训练和微调权重间线性插值，无需存储两个模型。这些技术均在单个模型内实现，显著减少了存储开销，同时提升了分布外泛化能力。
评估基准的扩展与任务多样性
以往鲁棒微调研究多局限于图像分类任务，且通常只微调图像编码器，丢失了零样本推理能力。R-Adapter 在微调后仍支持零样本推理，并将评估基准扩展到跨模态检索和开放词汇分割等任务。实验证明，该方法在多种下游任务中均取得最先进性能，且参数使用更少，展示了其广泛适用性和高效性。
Q&A
R-Adapter的主要功能是什么？
R-Adapter是一种新型微调方法，旨在提高视觉-语言预训练模型在下游任务中的性能，同时增强模型的鲁棒性和减少存储开销。
MPM-NCE损失函数的优势是什么？
MPM-NCE损失函数通过考虑多个正样本对和引入边界，增强了特征的区分能力，从而显著改善了任务特定性能。
R-Adapter如何提高模型的鲁棒性？
R-Adapter通过集成轻量级模块和自我集成技术，如动态集成和时间集成，来增强模型对超出分布范围数据的鲁棒性。
R-Adapter与传统微调方法相比有什么优势？
R-Adapter结合了鲁棒微调和参数高效微调的优势，能够在减少存储成本的同时保持对超出分布范围数据的鲁棒性。
R-Adapter适用于哪些下游任务？
R-Adapter适用于多种下游任务，包括图像分类、跨模态检索和开放词汇分割。
R-Adapter在微调过程中使用了哪些技术？
R-Adapter使用了动态集成、时间集成和权重空间集成等技术，以提高训练和推理过程中的模型鲁棒性。
