关于层标准化调整在视觉 Transformer 连续学习中的有效性

BriefGPT - AI 论文速递 · 2023-08-18T00:00:00Z

本文提出了一种仅利用0.03%参数的LN-tuning方法，通过调整Layer Normalization模块的增益和偏置项，实现对PLMs的参数高效调整。研究发现将LN-tuning与其他方法相结合可以提升性能，但同时调整FFN和LayerNorm会导致性能下降。该方法实现了SOTA的性能表现。