阿里通义DeepResearch模型在多个评测中超越OpenAI，成为开源Agent模型的领军者。该模型通过增量预训练和后训练，利用合成数据生成高质量训练集，提升推理和决策能力，已广泛应用于阿里内部项目。

该研究提出了CLIF学习框架，旨在提高NLP任务中的模型泛化能力，并保留早期任务表现。研究了连续知识学习，构建了新数据集和指标，强调对抗知识遗忘和参数扩展的重要性。通过增量预训练和主动遗忘机制，模型在新语言适应中表现更佳，并探讨了大型语言模型的持续学习策略及其适应性，提出了新的评估基准和未来研究方向。

该文综述预训练模型在持续学习中的进展，涵盖类增量学习、代码动态环境遗忘和增量预训练等方向。研究提出随机投影仪与类原型累积等免训练方法，可降低错误率；蒸馏法能保留早期领域性能并促进知识迁移。传统方法计算密集，建议以均匀抽样作为基线。

本研究使用不同的持续学习算法对语言模型进行增量预训练，评估模型对新数据的适应能力和早期数据知识的保留能力。结果显示基于蒸馏的方法最有效地保留早期任务性能，并提高知识转移和时态泛化能力。