一种用于TinyML设备训练的持续增量学习方法:数据集蒸馏和模型规模适应
原文中文,约600字,阅读约需2分钟。发表于: 。本研究针对在TinyML环境下的增量学习挑战,提出了一种新算法,该算法通过知识蒸馏生成小型数据集,并动态调整模型大小,适应任务需求。研究表明,该算法在保持较低的计算需求和内存使用下,实现了小模型的增量学习,且仅需43%的计算资源就可保持1%的精度损失,具有显著的应用潜力。
近年来,微型机器学习(TinyML)在低占用嵌入式设备上提供了实时的机器学习能力。然而,TinyML的实际实施面临挑战。本研究旨在弥合原型设计与生产级系统之间的差距,提出在线学习和联邦元学习方法以增强模型的泛化能力,并提出语义管理以管理资源多样性。通过实例和三个应用的评估,验证了方法的有效性。