用于有监督本地学习的动量辅助网络
内容提要
本文提出了一种增强本地学习的方法AugLocal，通过选择部分网络层来增强协同作用，解决了本地学习与BP方法之间的精度差距，并减少了约40%的GPU内存使用。该方法在资源受限的平台上训练深度神经网络具有潜力。此外，提出的指数移动平均归一化（EMAN）技术提高了教师模型的泛化能力，适用于多种网络结构和数据集。
延伸解读
本地学习如何缩小与BP的精度差距
本地学习将网络分块并行训练，虽能节省内存，但精度常不及端到端BP。AugLocal通过选择后续网络层的小部分层来增强块间协同，从而弥补精度差距，同时减少约40%的GPU内存使用。这为资源受限设备训练深度网络提供了可行路径。
EMAN：提升教师模型泛化能力的新归一化
EMAN用学生BN统计的指数移动平均来更新教师统计，减少BN的样本间依赖，从而提升教师泛化能力。在自监督和半监督学习中分别带来4-6/1-2个点和约7/2个点的稳定提升，且适用于多种网络结构和数据集。
局部学习向更多视觉任务的扩展
以往局部学习多用于图像分类，因不同任务依赖不同特征表示，辅助网络设计困难。GLCAN提出全局-局部协作辅助网络的宏观设计方法，首次将局部学习成功应用于目标检测和超分辨率，性能与端到端方法相当，同时大幅节省GPU内存。
Q&A
AugLocal 方法的主要优势是什么？
AugLocal 方法通过选择部分网络层增强协同作用，解决了本地学习与 BP 方法之间的精度差距，并减少了约 40% 的 GPU 内存使用。
什么是指数移动平均归一化（EMAN）技术？
EMAN 技术通过从学生的批量归一化统计数据中进行指数移动平均来更新教师的统计数，减少了样本间依赖，提高了模型的泛化能力。
AugLocal 方法在资源受限平台上的应用前景如何？
AugLocal 方法为资源受限平台上训练高性能深度神经网络提供了机会，因其显著减少了 GPU 内存使用。
EMAN 技术在自监督学习和半监督学习中的效果如何？
EMAN 技术在自监督学习和半监督学习中分别提高了 4-6/1-2 个点和约 7/2 个点，效果稳定。
局部学习方法首次应用于哪些任务？
局部学习方法首次成功应用于目标检测和超分辨率等任务，性能与端到端方法相当。
AugLocal 方法如何解决本地学习的精度问题？
AugLocal 方法通过增强网络层之间的协同作用，解决了本地学习与 BP 方法之间的精度差距。
