本研究提出了DMin框架，解决了扩散模型中影响估计的计算限制。通过梯度压缩和检索技术，DMin显著降低了存储需求，并快速识别影响性训练样本，实验证明其有效性和高效性。

本研究评估了梯度压缩方法在分布式深度学习中的有效性，提出了DAGC-R和DAGC-A两种优化方案，以减少通信瓶颈并提高收敛速率，尤其在移动环境中表现突出。

本研究提出了一种创新的梯度压缩方法，以提高大型语言模型在联邦学习中的通信效率。通过在客户端和服务器端增加编码器和解码器，降低通信成本并提升性能。同时，探讨了隐私保护下的模型微调方法，展示了联邦学习在大型语言模型训练中的有效性和潜力。

该文综述分布式机器学习的通信优化方法，包括CoCoA、CoCoD-SGD、DiLoCo、FireCaffe、深度梯度压缩、DORE和Top-k压缩器，通过本地计算、梯度压缩与通信策略切换降低通信开销，加速训练并保持模型精度。

该文综述分布式训练与计算中的通信优化研究，涵盖带宽优化的全局散播强多项式算法、环形网络联邦学习算法TornadoAggregate、拓扑感知集合算法合成器TACOS、兼容Allreduce的Top-k梯度压缩与动态压缩比策略、大批次训练的稳定性与2D-Torus all-reduce、去中心化O(k)-Top-k稀疏SGD、以编码冗余缓解慢节点的Short-Dot、通过编码洗牌降低通信负载，以及map-reduce并行与通信权衡的下界。

针对非独立同分布移动环境下分布式SGD的通信瓶颈，本文分析非均匀梯度压缩对收敛速率的影响，将相对压缩率分配建模为卡方非线性优化问题，提出DAGC-R（大数据量节点采用保守压缩率）和计算更省、更鲁棒的DAGC-A。实验表明，二者在数据量高度不平衡且通信受限时性能更优。