MoE通过稀疏激活解耦参数量与计算量，但代价转移至路由稳定性、通信和推理效率。训练中需应对过载丢token、专家塌缩和路由抖动，All-to-All通信是主要成本。推理时小batch降低专家利用率。MoE并非免费容量，其优势在预训练FLOPs上成立，但微调和通信场景需权衡。

本研究提出了一种联邦黑寡妇优化（FedBWO）技术，以解决资源受限设备的传输能力不足问题。该方法仅传输性能得分，从而减少通信数据量，实验结果显示准确率提高了21%，通信成本显著降低。

本文提出了TRIP框架，旨在解决联邦学习中的专家分配和通信成本问题。实验结果表明，TRIP在提高通信效率的同时，显著改善了个性化样本的处理，展示了其在异构数据环境中的应用潜力。

该研究提出了协作约束路由(C2R)策略，以提高混合专家(MoE)模型的效率，解决专家激活不平衡和通信开销过高的问题。实验结果显示，该方法在多个NLP基准测试中提升了性能，并显著降低了GPU间的通信成本。

本文提出了一种新协议，通过将网络权重编码为可训练参数，联邦学习的通信成本降低了34倍，显著提高了效率。

本研究提出了一种新颖的联邦学习算法FedCGS，旨在解决传统联邦学习中的高通信成本和隐私攻击风险。该算法通过预训练模型捕获全局特征统计，实现了一次性联邦学习，表现出色，具有广泛应用潜力。

本研究提出ProFe算法，旨在解决去中心化联邦学习中的通信管理和模型聚合问题，降低通信成本40-50%，同时提升模型性能，为DFL应用提供新方案。

该研究提出了一种新方法，将服务器大型语言模型推理中的通信成本从16位降低至4.2位，同时保持约98.0%和99.5%的原始性能，显示出显著的应用潜力。

本研究提出了ClipFL框架，旨在改善联邦学习中噪声标签的处理效果。通过评估客户端在干净验证数据集上的表现，ClipFL能够识别并排除表现不佳的客户端，从而显著提高准确性、加快收敛速度并降低通信成本。

本研究提出了一种名为FedSPD的个性化去中心化联邦学习算法，旨在解决客户端模型个性化问题。该方法基于聚类框架，在低连接性网络中实现精准学习，并显著降低通信成本。

本研究提出了一种名为Facade的算法，解决去中心化学习中因数据特征空间异质性导致的模型效用和公平性问题。该算法通过动态聚类分配节点，实现公平训练。实验表明，Facade在模型准确性和公平性上优于现有方法，并降低了通信成本。

该研究提出了一种新的联邦学习框架，利用无标签开放数据集和半监督学习算法，显著降低通信成本并提高模型性能。实验结果表明，该框架在分类准确性上优于传统方法，尤其在大规模系统中表现突出。此外，研究探讨了有效使用预训练模型和减少模型间不一致性的方法，提出了多种改进算法以提升联邦学习的效率和准确性。

本研究探讨了在联邦学习中提高梯度通信效率的量化算法，如FTTQ、T-FedAvg和DAdaQuant。通过随机梯度量化和压缩技术，显著降低通信成本并提升学习效率，同时确保模型的准确性。研究分析了通信成本与模型性能之间的权衡，并提出了加速收敛速度的有效解决方案。

本文介绍了多种个性化联邦学习方法，如pFedGate、DFedAlt和pFedSim，旨在提高模型准确性和效率，同时保护数据隐私。这些方法通过优化模型训练、减少通信成本和适应不同数据分布，显著提升了全局和个体模型的性能。实验结果表明，这些新方法在准确性和资源消耗上优于现有技术。

本研究提出了稀疏三元压缩（STC）技术，适用于联邦学习环境。实验结果表明，STC在非独立同分布数据和低参与率情况下优于联邦平均法，同时在保持准确度的前提下减少了训练迭代和通信成本。此外，研究探讨了压缩技术对通信成本和模型准确性的影响，并提出了多种新框架以提升通信效率和模型性能。

本文提出了多种个性化联邦学习框架，如FedDVA、RepPer和pFedBreD，旨在解决数据异质性问题，提高模型个性化和共享效率。实验结果表明，这些方法在不同数据集上表现优越，能够有效降低通信成本并提升模型性能。

本文介绍了多种个性化联邦学习方法，如pFedHN、FewFedWeight和FedProx，旨在解决数据异质性和通信成本问题。这些方法通过优化模型共享和动态聚合，提升了客户端模型的性能，实验结果表明其在多个数据集上优于现有方法。

本文介绍了JWINS，一种高效的分散式学习系统，通过稀疏化共享参数和优化通信，显著降低信息损失和传输字节数。同时，提出了DecentralizePy框架，优化了能源效率，并引入LoDMeta方法以降低通信成本和保护数据隐私。实验结果表明，这些方法在隐私保护和模型性能上优于传统方案。