该论文探讨了去中心化深度学习模型训练的关键因素，提出通过通信压缩和新算法（如Choco-SGD）提高训练效率，降低通信成本。实验结果显示，这些方法在多种应用中显著加快了收敛速度并提升了模型性能。

该文综述深度学习分布式训练的通信压缩方法，包括THC双向压缩、Choco-SGD、深度梯度压缩、低秩压缩、激活压缩、深度压缩、延迟梯度更新、GraVAC、adaComp及自压缩等技术，通过剪枝、量化、梯度稀疏化等手段降低通信带宽与存储需求，在保持模型精度的同时加速训练。