适应和对齐:生成模型潜空间对齐的持续学习
原文中文,约400字,阅读约需1分钟。发表于: 。利用生成模型中的潜在表示对神经网络进行迭代学习的 Adapt & Align 方法在论文中被介绍。该方法通过将生成模型的潜在表示对齐,解决了神经网络在重新训练时由于来自不同分布的额外训练数据而出现的性能突然下降的问题,并通过利用全局模型对局部模型的潜在表示进行整合,将知识转化为可用于下游任务(如分类)的方法进行连续知识整合。
本文提出了一种高效的持续学习方法,使用EAR框架处理领域转移下的非平稳数据分布和新数据。该方法利用DNN特征编码器和浅层网络进行训练,使用ZS-NAS识别低参数神经适配器以适应分布之外的数据,并通过适配器和重构器处理领域增量和类增量的持续学习。实验证明该方法具有强大性能。