本研究提出多头潜在注意力（MLA）方法，旨在解决大语言模型的通信瓶颈。通过低秩矩阵缓存压缩KV状态，减少缓存大小并提高推理速度。同时引入TransMLA方法，以增强模型表现力。

本文提出了差分隐私联邦立方正则牛顿（DP-FCRN）算法，解决了联邦学习中的隐私泄露和通信瓶颈问题。该算法通过二阶技术在迭代复杂度上优于一阶方法，并在本地计算中加入噪声扰动以确保隐私。同时，通过稀疏化传输降低通信成本并增强隐私保证。实验证明该算法在保护隐私的前提下降低了噪声强度，并在基准数据集上验证了其有效性。