对等学习与非独立同分布数据的一致性
原文中文,约300字,阅读约需1分钟。发表于: 。使用点对点深度学习算法,实现分布式边缘设备之间的协作训练深度神经网络,无需交换原始训练数据或依赖中央服务器。我们发现模型漂移导致本地训练和共识阶段之后的测试性能出现显著震荡,并确定了放大性能震荡的因素。通过我们的创新方法 P2PL with Affinity,在非独立同分布的设置中,我们能够减弱测试性能震荡,而不增加额外的通信成本。
本文提出了一种完全去中心化的框架,用于在节点网络中训练机器学习模型。通过引入信念的贝叶斯式方法,节点可以通过聚合邻居的信息来更新信念,从而在整个网络上学习最适合观察的模型。实验证明,该算法提供了显着的精度改进。