FE-Adapter：将基于图像的情感分类器适应于视频
内容提要
本文研究了跨模态参数高效的图像到视频传递学习，提出了Spatio-Temporal Adapter，能够以较低成本实现动态视频内容的推理能力。XMAdapter通过视觉-语言双模态信息提升模型性能，实验结果表明其在准确性和效率上优于以往方法。此外，研究探讨了适配器在屏幕截图字幕任务中的应用，提出UniAdapter以实现跨模态自适应，显著减少可调参数并提升性能。
延伸解读
参数高效迁移学习在视频任务中的优势
文章提出的Spatio-Temporal Adapter以较小成本实现动态视频内容的空时推理，在视频动作识别任务上匹配或超越完全微调策略，同时具有参数效率优势。这表明参数高效迁移学习能有效降低计算开销，为视频理解任务提供实用方案。
跨模态适配器的效率提升
Cross-Modal Adapter方法在多模态模型上减少99.6%的参数并节省30%训练时间，在多个数据集上实现优异或可比性能。这显示跨模态适配器能大幅提升训练效率，同时保持模型效果，适合资源受限场景。
UniAdapter的统一设计与参数节省
UniAdapter通过部分权重共享统一单模态和多模态适配器，仅需预训练模型1.0%-2.0%的可调参数，在六项跨模态下游基准测试中表现出色。这种设计实现了强大的跨模态表示，为下游任务提供高效自适应方案。
屏幕截图字幕任务的适配器应用
研究首次全面探讨适配器在屏幕截图字幕任务中的有效性，通过冻结图像字幕模型参数，仅训练方法相关权重，实现与全模型微调相当的性能，同时大幅减少参数数量。这为视觉语言模型的高效调优提供了新思路。
Q&A
Spatio-Temporal Adapter的主要功能是什么？
Spatio-Temporal Adapter能够以较小的成本实现动态视频内容的空时推理能力。
XMAdapter如何提升模型性能？
XMAdapter通过视觉-语言双模态信息进行检索，动态调整关联比例以增强模型性能。
跨模态适配器的优势是什么？
跨模态适配器能够减少99.6%的参数，节省30%的训练时间，同时保持良好的性能。
UniAdapter的设计特点是什么？
UniAdapter通过部分权重共享实现单模态和多模态适配器的统一设计，仅需1.0%-2.0%的可调参数。
在屏幕截图字幕任务中，适配器的有效性如何？
通过冻结图像字幕模型的参数，仅训练相关权重，可以实现与整个模型微调相当的性能。
如何通过参数高效微调提升语音情感识别模型的性能？
结合精简可训练参数数量和两阶段适应策略，可以有效提升语音情感识别模型的性能。
