FE-Adapter:将基于图像的情感分类器适应于视频

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了基于adapter的参数高效迁移学习技术,以VL-BART和VLT5为例,在图像文本和视频文本基准测试上通过权重共享提高adapter的效率和性能。同时对adapter与任务特定提示的组合及V&L预训练对adapter的影响进行了综合分析。

🎯

关键要点

  • 提出基于 adapter 的参数高效迁移学习技术。
  • 以 VL-BART 和 VLT5 为例进行研究。
  • 在图像文本和视频文本基准测试上统一多任务设置。
  • 通过权重共享提高 adapter 的效率和性能。
  • 在图像文本任务中,adapter 的使用提升至总参数的 4.18%。
  • 在视频文本任务中,adapter 的使用提升至总参数的 3.39%。
  • adapter 的性能匹配整个模型微调的性能。
  • 综合分析 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响。
🏷️

标签

➡️

继续阅读