在压测中发现阻塞问题，调试工具分析后确认是workFifo满导致。通过分析nccl模块结构和任务分配，建议升级到最新版本以修复bug。

该文综述分布式训练与计算中的通信优化研究，涵盖带宽优化的全局散播强多项式算法、环形网络联邦学习算法TornadoAggregate、拓扑感知集合算法合成器TACOS、兼容Allreduce的Top-k梯度压缩与动态压缩比策略、大批次训练的稳定性与2D-Torus all-reduce、去中心化O(k)-Top-k稀疏SGD、以编码冗余缓解慢节点的Short-Dot、通过编码洗牌降低通信负载，以及map-reduce并行与通信权衡的下界。