MUSCLE:一种兼容的大型语言模型更新策略
原文英文,约300词,阅读约需2分钟。发表于: 。Large Language Models (LLMs) are regularly updated to enhance performance, typically through changes in data or architecture. Within the update process, developers often prioritize improving...
大型语言模型(LLMs)在更新时常忽视与旧版本的兼容性,导致性能下降和用户不满。研究发现,更新后微调的任务适配器可能出现负向翻转,导致原本正确的预测变为错误。为此,提出了一种兼容适配器训练策略,能减少实例回归,更新效果提升可达40%。