面向设备上高效增量学习的中心敏感核优化
原文中文,约500字,阅读约需1分钟。发表于: 。为促进边缘智能在不断变化的环境中的发展,本文研究了在有限计算资源约束下的设备上的增量学习。与当前只关注高效训练而不考虑灾难性遗忘的方法不同,本文提出了一种简单而有效的面向边缘的增量学习框架,通过对神经网络的核心元素的知识强度的经验研究,发现中心核心对于学习新数据的知识强度最大化起关键作用,冻结其他核心元素可以在克服灾难性遗忘方面取得良好平衡。基于这一发现,我们进一步设计了一个便于梯度计算和反...
本文研究了有限计算资源下的设备上的增量学习,通过对神经网络核心元素的知识强度进行经验研究,发现中心核心在学习新数据时起关键作用,冻结其他核心元素可在克服灾难性遗忘方面取得平衡。实验证明该方法在设备上的增量学习具有潜力。