VMT-Adapter: 多任务强化学习的参数高效迁移学习
原文中文,约500字,阅读约需2分钟。发表于: 。大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而,与其它单一任务的适应性方法相比,在多任务适应方面的研究有限,这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器(VMT-Adapter),其训练和推理效率与任务数量近似为 O (1)。具体而言,VMT-Adapter...
本文提出全能视觉多任务适配器(VMT-Adapter)用于计算机视觉任务,通过共享任务知识增强跨任务交互,保留任务特定知识。同时提出VMT-Adapter-Lite以减少可训练参数。实验证明VMT-Adapter(-Lite)相对改进3.96%(1.34%),仅利用预训练模型约1%(0.36%)的可训练参数。