Efficient Adaptation of Pre-trained Vision Transformers via Householder Transformation
原文英文，约100词，阅读约需1分钟。发表于：。本研究针对预训练视觉变换器在下游任务中的低秩适应矩阵适应性不足的问题，提出了一种新颖的参数高效微调方法。该方法灵感来源于奇异值分解，通过Householder变换构造正交矩阵，使适应矩阵在不同层之间可灵活变换秩，从而提升微调效果。实验结果表明，该方法在标准下游视觉任务中表现出色。
本研究提出了一种新颖的参数高效微调方法，解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵，显著提升了微调效果，实验结果表明其在视觉任务中表现优异。
