本文探讨了提升联邦学习效率的方法，包括使用显著性梯度计算模型参数显著性分数、局部模型多样性增强策略和聚类正则化。这些方法旨在解决数据非独立同分布和模型收敛性问题，降低通信成本，提高模型准确性和训练效率。研究表明，个性化稀疏掩码和动态稀疏训练在实际应用中表现优异。

本文研究了预训练模型在数据集精炼中的应用，实验发现增加模型多样性可以提高合成数据集的性能，次优模型在某些情况下可以辅助DD并超过训练充分的模型，DD并不一定需要特定的领域PTMs，但合理的领域匹配至关重要。通过选择最佳选项，显著提高了基线DD方法的跨体系结构泛化能力。