该文综述自然语言处理中的持续学习进展，涵盖任务分类、遗忘与知识迁移，涉及大模型持续适应、跨领域学习、主动持续学习及软掩蔽机制，提出CodeTask-CL基准和连续后训练方法。理论分析将类增量学习分解为任务内预测与任务ID预测，并设计新方法提升性能。