UER: 在线持续学习的启发式偏差解决方法
原文中文,约200字,阅读约需1分钟。发表于: 。在线连续学习通过对连续数据流进行单次遍历来不断训练神经网络。通过将点积 logit 分解为角因子和模因子,我们发现偏差问题主要出现在角因子中,并利用模因子来平衡新旧知识以解决偏差问题。在三个数据集上的实验证明,解决偏差问题的启发式方法 UER 相对于其他最先进的方法具有更好的性能。
本文研究了神经网络处理时间变化数据流时的灾难性遗忘问题,并提出了一种基于Experience Replay的方法,相比rehearsal方法有更高的精度。