该文综述分布式深度学习中的梯度稀疏化方法，旨在降低通信开销并提升可扩展性。介绍了MiCRO、DEFT、SparDL、LAGS-SGD等方案，通过梯度选择、分层自适应稀疏和误差补偿等技术，在保持收敛性能的同时减少通信流量，并验证了其有效性。

DEFT是一种新颖的梯度稀疏化方案，将梯度选择任务划分为子任务并分配给工作节点，可以减少计算成本和消除梯度累积。实证评估表明，DEFT相对于现有的稀疏化方法在梯度选择的速度方面显示出显著的训练性能改进，同时实现了高收敛性能。