BriefGPT - AI 论文速递
·
关于层标准化调整在视觉 Transformer 连续学习中的有效性
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种仅利用0.03%参数的LN-tuning方法，通过调整Layer Normalization模块的增益和偏置项，实现对PLMs的参数高效调整。研究发现将LN-tuning与其他方法相结合可以提升性能，但同时调整FFN和LayerNorm会导致性能下降。该方法实现了SOTA的性能表现。
🎯
关键要点
- 提出了一种仅利用0.03%参数的LN-tuning方法。
- 通过调整Layer Normalization模块的增益和偏置项，实现对PLMs的参数高效调整。
- 研究了将LN-tuning与其他方法相结合的统一框架。
- 在MHA和LayerNorm同时调整的情况下可以获得性能提升。
- 在FFN和LayerNorm同时调整的情况下将导致性能下降。
- 该方法实现了SOTA的性能表现。
➡️
