本研究提出多头潜在注意力（MLA）方法，旨在解决大语言模型的通信瓶颈。通过低秩矩阵缓存压缩KV状态，减少缓存大小并提高推理速度。同时引入TransMLA方法，以增强模型表现力。

本研究评估了梯度压缩方法在分布式深度学习中的有效性，提出了DAGC-R和DAGC-A两种优化方案，以减少通信瓶颈并提高收敛速率，尤其在移动环境中表现突出。

针对非独立同分布移动环境下分布式SGD的通信瓶颈，本文分析非均匀梯度压缩对收敛速率的影响，将相对压缩率分配建模为卡方非线性优化问题，提出DAGC-R（大数据量节点采用保守压缩率）和计算更省、更鲁棒的DAGC-A。实验表明，二者在数据量高度不平衡且通信受限时性能更优。