Concept-1K：一种实例增量学习的全新基准
原文中文，约2400字，阅读约需6分钟。发表于：。基于对 Concept-1K 实验的研究，揭示了数十亿参数的预训练语言模型仍然受到灾难性遗忘的影响，并且遗忘受模型规模、预训练和缓冲区大小的影响。同时，现有的增量学习方法和一种流行的微调技术 LoRA 都无法达到令人满意的性能。这项研究为进一步探索预训练语言模型的灾难性遗忘提供了新的研究场景，鼓励设计更强大的技术来缓解预训练语言模型的遗忘问题。
基于Concept-1K实验，揭示了数十亿参数的预训练语言模型仍然受到灾难性遗忘的影响，遗忘受模型规模、预训练和缓冲区大小的影响。现有的增量学习方法和LoRA微调技术无法达到令人满意的性能。这项研究为进一步探索预训练语言模型的灾难性遗忘提供了新的研究场景，鼓励设计更强大的技术来缓解预训练语言模型的遗忘问题。
