使用预训练模型的不断学习：调查
内容提要
该文综述预训练模型在持续学习中的进展，涵盖类增量学习、代码动态环境遗忘和增量预训练等方向。研究提出随机投影仪与类原型累积等免训练方法，可降低错误率；蒸馏法能保留早期领域性能并促进知识迁移。传统方法计算密集，建议以均匀抽样作为基线。
延伸解读
免训练方法降低错误率
文章提到，采用无需训练的随机投影仪和类原型累积技术，可以避免遗忘问题，并在多个基准数据集上减少了最终错误率，且无需使用回访记忆。这为持续学习提供了一种高效且易于实现的解决方案，尤其适合资源受限的场景。
蒸馏法保留早期领域性能
研究表明，在增量预训练中，基于蒸馏的方法能最有效地保留早期领域的下游任务性能，同时提高知识迁移能力，使模型在最新数据上表现更好，并增强时态泛化能力。这对于需要长期适应新数据的模型尤为重要。
传统方法计算密集，均匀抽样作为基线
文章指出，当计算资源受限时，传统的持续学习方法过于计算密集，不适合实际部署。因此，推荐使用在存储器上均匀抽样作为最初基线，以平衡性能与效率。
Q&A
预训练模型在持续学习中主要面临哪些挑战？
主要挑战包括灾难性遗忘和知识迁移问题，尤其是在软件代码动态环境下，预训练语言模型会出现灾难性遗忘。
有哪些无需训练的方法可以避免持续学习中的遗忘？
随机投影仪和类原型累积技术是无需训练的方法，可避免遗忘问题，并在多个基准数据集上减少了最终错误率，且无需回访记忆。
在持续学习中，蒸馏法有什么作用？
蒸馏法能最有效地保留早期领域的下游任务性能，提高知识转移能力，使模型在最新数据上实现更好的下游性能，并提高时态泛化能力。
计算资源受限时，持续学习应该如何选择基线方法？
传统持续学习方法对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。
持续学习模型作为预训练器有什么效果？
持续学习模型可以学习到改进的任务一般特征，在保留丰富任务一般特征的同时，运用全局注意力离散化微调可获得竞争力的性能表现。
有哪些持续学习工具箱或模型被提出用于预训练模型？
PILOT是一个基于预训练模型的持续学习工具箱，旨在探索在增量学习中利用预训练模型；CTR模型通过使用预训练模型解决了连续学习中的灾难性遗忘和知识迁移问题。
