低秩重缩放视觉转换器微调：一种残差设计方法
内容提要
本文提出了一种新方法，通过低秩逼近和特征蒸馏模块，提高预训练模型的参数效率。该方法在保持模型架构的同时，显著减少参数数量和计算时间，适用于多种自然语言处理任务，表现出优越的性能。此外，研究探讨了视觉变换器的参数高效模型适应策略，并提出新的调优方法，强调在少样本情况下的有效性。
延伸解读
低秩压缩的代价与收益
文章提出的方法通过低秩逼近压缩预训练模型，并引入特征蒸馏和权重扰动正则化来增强低秩模型。在保持基本架构最小修改的同时，参数数量通常减少三分之一至三分之二，但性能会下降约0.6个点。这意味着该方法在参数效率和计算时间上优势明显，但并非无损压缩，读者需权衡效率提升与轻微性能损失。
视觉Transformer参数高效适应策略对比
文章回顾了多种视觉Transformer的参数高效适应方法，包括基于局部内在维度的框架、Task Residual Tuning、SSF和适配器重组（ARC）。这些方法在少样本和全样本图像分类任务上表现出不同的准确性与参数效率平衡。例如，Task Residual Tuning在11个基准上优于现有方法，SSF仅需缩放和移位特征即可达到完全调优性能。读者可据此了解不同策略的适用场景。
NLP与医学领域的低秩适应实践
在自然语言处理中，AdaLoRA自适应分配参数预算，统一框架将多种参数高效方法重构为对隐藏状态的修改，并识别关键设计选择。在医学影像中，MeLo通过低秩适应为多个临床任务开发单一CAD模型，仅用较少可训练参数即达到可比结果。这些案例表明低秩适应具有跨领域通用性，尤其适合资源受限或多任务场景。
Q&A
低秩重缩放视觉转换器微调的主要目标是什么？
主要目标是提高预训练模型的参数效率，减少参数数量和计算时间。
AdaLoRA 方法如何优化 NLP 预训练模型的参数更新？
AdaLoRA 方法通过自适应地在权重矩阵之间分配参数预算来优化参数更新。
Task Residual Tuning 方法的优势是什么？
该方法通过保留原有分类器权重，显著优于当前的高效转移学习方法。
SSF 方法与完全调优相比有什么特点？
SSF 方法仅需缩放和移位预训练模型提取的深度特征，达到与完全调优相同的性能。
适配器重组策略如何减少新参数数量？
通过参数共享和对称的下-/上映射构建瓶颈操作，显著减少新参数数量。
MeLo 方法在临床任务中的应用效果如何？
MeLo 方法通过低秩适应开发单一的 CAD 模型，仅使用较少的可训练参数实现可比较的结果。
