本文探讨了卷积神经网络中的稀疏性技术，特别是在使用Batch Normalization和ReLU激活时的隐式稀疏性。研究表明，这种稀疏性可以通过特定功能的出现和修剪机制来实现，从而优化神经网络的结构和性能。此外，提出了Sparsity Normalization技术和掩码多样性度量方法，以降低内存占用并提高训练效率。

研究表明，Batch Normalization 和 Group Normalization 在分布式学习中效果相似，但前者更具适用性。提出的 FedBN 方法通过本地批量归一化改善特征转移问题，提升联邦学习的收敛性。FedAP 算法通过个性化批量规范化提高模型准确性，尤其在医疗基准测试中表现优异。此外，研究探讨了多域联邦学习的挑战，并提出无标准化方法 FedWon，显示出更强的性能。