BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

去除耗时者的分散式学习中的梯度编码

📝

内容提要

本文提出了一种分布式优化框架，通过编码数据并舍弃掉队节点来减少延迟和通信传输负担。研究结果表明，使用纠删码作为掉队者时，几种优化算法都能收敛到原始问题的近似或精确解。研究还提出了高效的大规模数据编码机制，并与其他策略进行了比较。

🏷️

标签

分布式优化框架 延迟 纠删码 编码数据 通信传输负担