贝叶斯参数高效微调克服灾难性遗忘

提出了一种新型参数高效调参方法（PEFT）框架，通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT 可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。在 COCO 字幕任务上，该方法优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。