通过模型碎片化提升异步去中心化学习

BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z

本文介绍了一种名为DivShare的异步学习算法，解决去中心化学习中节点拖延的问题。通过模型碎片化并并行发送参数子集，显著加快了模型收敛。在CIFAR-10数据集上，DivShare将准确率提高了19.4%，测试损失降低了9.5%。