通过相关动力模型增强神经网络训练
原文中文，约300字，阅读约需1分钟。发表于：。神经网络训练过程中的参数在时间上呈现内在关联性，使用相关模式分解（CMD）算法可以将参数空间有效地划分为展现跨周期同步行为的群组，从而仅使用少数模式即可有效地表示 ResNets 和 Transformers 等复杂网络的训练动态，并提升测试集泛化能力。CMD 能够增强训练效率和降低通信开销，进一步的实验表明 CMD 在图像分类中紧凑模型动态建模方面超过现有方法，尤其在联邦学习背景下有显著优势。
本文介绍了基于动态模态分解算法的扩展版本GraphDMD和基于自动编码器的深度学习模型DeepGraphDMD。作者通过模拟和实验结果验证了DeepGraphDMD方法的有效性，并发现了与智力相关的重要网络模态，为认知脑功能提供了新的见解。
