多任务策略学习中视觉特征的任务条件自适应
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出首个多任务视觉变换器适配器，嵌入现成ViT骨干，可同时处理多个密集视觉任务，无需在新任务或领域上重训微调。其任务适应注意机制融合梯度与注意力相似度，学习通用任务关联，支持零样本迁移和无监督域适应，性能优于CNN及ViT多任务方法。
🔎
延伸解读
适配器设计：参数高效的多任务学习
文章提出的多任务视觉变换器适配器嵌入现成ViT骨干，能同时处理多个密集视觉任务，且无需在新任务或领域上重新训练或微调。与现有需要大量参数的多任务变换器相比，该适配器参数效率更高，这降低了多任务学习的计算和存储开销，为实际部署提供了便利。
任务关联学习：融合梯度与注意力相似度
适配器中的任务适应注意机制将基于梯度的任务相似度与基于注意力的相似度相结合，学习通用任务关联。这种融合方式使模型能够捕捉任务间的互补信息，从而支持零样本任务迁移和无监督域适应，并在新领域上无需微调即可泛化。
性能优势：超越CNN与ViT多任务方法
实验表明，该方法不仅优于现有的基于卷积神经网络的多任务方法，也优于基于视觉变换器的方法。这验证了适配器框架在密集视觉任务上的有效性，为多任务学习提供了一种新的高效解决方案。
❓
Q&A
什么是多任务视觉变换器适配器？
多任务视觉变换器适配器是首个嵌入现成ViT骨干网络的适配器，能同时处理多个密集视觉任务，无需在新任务或领域上重新训练或微调。
它如何实现任务适应？
通过一种任务适应的注意机制，将基于梯度的任务相似度与基于注意力的相似度相结合，学习通用任务关联性。
它支持零样本任务迁移吗？
是的，所学习的任务关联性可推广到零样本任务迁移、无监督领域适应以及不需要对新领域进行微调的泛化。
与现有方法相比，它的性能如何？
它优于现有的基于卷积神经网络的多任务方法，也优于基于视觉变换器的方法。
它需要大量参数吗？
不需要，与现有的多任务变换器相比，它不需要大量的参数。
添加新任务时需要重新训练吗？
不需要，与同时方法相比，无需在添加新任务或领域时重新训练或微调。
🏷️
