研究发现，细调预训练语言模型存在遗忘问题，特别是带有Low-Rank Adapters的模型。遗忘量与细调参数数量和更新步数呈移位幂律增长。无法通过提前停止或调整参数数量来避免遗忘问题。这为减轻遗忘问题的细调方案提供了重要的安全关键方向。