时间、内存和参数高效的视觉适应
内容提要
本文综述视觉模型参数高效适配方法，涵盖VMT-Adapter、E3VA、ARC、Adaptor等框架，通过轻量适配器、参数共享与低精度量化，在图像分类、视频理解及医学影像任务中兼顾准确性与参数效率，可训练参数常低于4%。
延伸解读
参数高效适配的演进脉络
文章按时间顺序梳理了视觉参数高效适配的代表性工作，从2021年的Adapter、2022年的Convpass和Spatio-Temporal Adapter，到2023年的E3VA、VMT-Adapter、ARC和低精度量化，再到2024年的Adaptor框架。这一脉络显示，研究重点从单纯减少可训练参数，逐步扩展到同时优化训练内存、训练时间和多任务效率，并开始关注医学影像等特定领域的适配需求。
效率与性能的平衡策略
多个工作表明，参数高效适配可以在极低可训练参数比例下保持竞争力。例如VMT-Adapter仅利用预训练模型约1%的参数，在四个密集场景理解任务上相比全面微调有3.96%的相对改进；Adaptor在医学图像任务中减少90%以上可训练参数，仅用1%数据微调时在分割任务上胜过部分全数据训练方法。这说明适配器设计的关键在于有效共享和重用参数，而非简单削减参数量。
多任务与跨模态适配的挑战
文章提到，多任务适应研究相对有限，且现有方法训练和推理效率常不理想。VMT-Adapter通过共享多任务知识和独立知识提取，将训练和推理效率与任务数量的关系近似为O(1)。跨模态方面，基于adapter的迁移学习在图像文本和视频文本任务中将adapter使用提升至总参数的4.18%和3.39%，匹配全模型微调性能。这些方案试图在任务数量增长时控制计算开销，但实际部署中仍需权衡任务特定知识与共享知识的分配。
低精度与参数共享的实用价值
低精度量化实验发现，低精度适配器能达到与高精度适配器相当的性能，甚至1位精度就足够，这为减少存储空间提供了直接途径。ARC策略则通过对称的下-上映射构建瓶颈操作，实现层间参数共享，并学习低维重缩放系数来重组层自适应适配器，在24个下游图像分类任务上减少了参数数量且保持迁移学习性能。这些方法提示，在资源受限场景下，结合量化和共享机制可能比单纯设计更复杂的适配器更有效。
Q&A
视觉模型参数高效适配的主要目标是什么？
主要目标是在保持模型性能的同时，减少可训练参数、训练内存和训练时间，实现参数、内存和时间的高效利用。
E3VA 方法在训练效率和资源节省方面有哪些具体优势？
E3VA 通过梯度反向传播高速公路实现低秩适配器，在保持模型性能相当的情况下，节省高达 62.2% 的训练内存和 26.2% 的训练时间。
VMT-Adapter 如何实现多任务适应的高效率？
VMT-Adapter 通过共享多个任务的知识增强跨任务交互，并通过独立知识提取模块保留任务特定知识，其训练和推理效率与任务数量近似为 O(1)。VMT-Adapter-Lite 进一步通过学习下投影和上投影之间的共享参数减少可训练参数。
ARC 策略如何减少适配器参数数量？
ARC 策略通过考虑适应参数的可重用性，引入参数共享方案，利用对称的下-/上映射构建瓶颈操作实现层间参数共享，并学习低维度的重新缩放系数来重新组合层自适应的适配器，从而显著减少新参数数量。
Adaptor 框架在医学视觉-语言自监督学习中有何优势？
Adaptor 框架保持预训练的图像和文本编码器冻结，采用轻量级 Adaptor 模块进行跨模态学习，在医学图像分类和分割任务中，与当前预训练方法相比，可训练参数减少 90% 以上，同时具有竞争性性能。仅使用 1% 的数据微调时，在医学图像分割方面胜过了针对完整数据集训练的几种基于 Transformer 的方法。
低精度量化在适配器中的应用效果如何？
通过将轻量级适配器插入冻结的预训练模型并使用低精度量化方法减少存储空间，研究发现低精度适配器达到与高精度适配器相当的性能，且 1 位精度就足够。
