分布式多项式混合模型的收缩吉布斯采样器在联邦学习中的应用
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文提出了一种新的DPMM的分布式MCMC推理方法(DisCGS),通过使用合适的统计量和折叠的吉布斯采样器,在独立异构的机器间处理分布式数据,具备应用能力。该方法在横向联合学习中取得了显著的可扩展性和执行时间缩短200倍,不影响聚类性能。
🎯
关键要点
-
提出了一种新的DPMM的分布式MCMC推理方法DisCGS。
-
该方法使用折叠的吉布斯采样器,适用于独立异构的机器间处理分布式数据。
-
在横向联合学习中,该方法具备应用能力。
-
方法取得显著的可扩展性,执行时间缩短200倍。
-
对于10万个数据点的数据集,集中式算法需12小时完成100次迭代,而该方法仅需3分钟。
➡️