阿里通义DeepResearch模型在多个评测中超越OpenAI，成为开源Agent模型的领军者。该模型通过增量预训练和后训练，利用合成数据生成高质量训练集，提升推理和决策能力，已广泛应用于阿里内部项目。

该研究提出了CLIF学习框架，旨在提高NLP任务中的模型泛化能力，并保留早期任务表现。研究了连续知识学习，构建了新数据集和指标，强调对抗知识遗忘和参数扩展的重要性。通过增量预训练和主动遗忘机制，模型在新语言适应中表现更佳，并探讨了大型语言模型的持续学习策略及其适应性，提出了新的评估基准和未来研究方向。

本研究使用不同的持续学习算法对语言模型进行增量预训练，保留早期知识并提高下游任务性能。采用基于蒸馏的方法最有效，同时提高知识转移和时态泛化能力。

本研究使用不同的持续学习算法对语言模型进行增量预训练，评估模型对新数据的适应能力和早期数据知识的保留能力。结果显示基于蒸馏的方法最有效地保留早期任务性能，并提高知识转移和时态泛化能力。