现有参数高效微调方法在视觉变换器适应中成功,但推理效率提升有限。本文提出DyT方法,通过轻量级适配器和标记分发器区分重要标记,减少冗余计算,提高效率。受混合专家机制启发,引入增强适配器提升性能。DyT在多任务和VTAB-1K测试中表现优异。
完成下面两步后,将自动完成登录并继续当前操作。