精调预训练大型语言模型中的稀疏是足够的
原文中文，约300字，阅读约需1分钟。发表于：。通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。
提出了一种新型参数高效调参方法（PEFT）框架，用于多模态、多任务迁移学习。通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。提出了Context-PEFT，根据令牌的领域学习不同的适配器参数组，实现类似LoRA的权重注入，无需额外的架构修改。在COCO字幕任务上评估，优于完全微调，并提供更高的参数效率和计算经济性的解决方案。
