当联合学习遇到噪声标签时，重审早期学习正则化
内容提要
该文综述联邦学习中的标签噪声问题，涵盖本地自正则化、FedCNI、FedCorr、FedNoRo、Fed-NCL等方法，通过噪声客户端识别、标签纠正、鲁棒聚合与知识蒸馏提升鲁棒性，并探讨用户反馈降噪、灾难性遗忘及资源高效客户端适应。
延伸解读
标签噪声对联邦学习的影响
文章指出，标签噪声会导致全局模型准确度线性下降、训练收敛变慢且容易过拟合。这一发现基于MNIST和CIFAR-10数据集的实验和理论分析，揭示了噪声对联邦学习性能的直接影响，提醒研究者和实践者需重视数据质量。
主流鲁棒联邦学习方法概览
文章综述了多种方法，如本地自正则化、FedCNI、FedCorr、FedNoRo和Fed-NCL。这些方法通过噪声客户端识别、标签纠正、鲁棒聚合与知识蒸馏等策略提升鲁棒性。其中FedCorr采用多阶段框架动态识别噪声客户端并纠正标签，FedNoRo则针对医疗场景的类不平衡问题结合知识蒸馏。
用户反馈与灾难性遗忘的应对
文章提到利用用户反馈进行标记和降噪，在保护隐私的同时提升模型性能。此外，FedReg算法通过生成伪数据作为正则化器，缓解分布式学习中的灾难性遗忘问题，并提高收敛速度。这些方向为联邦学习中的噪声标签处理提供了新思路。
资源高效客户端适应的探索
针对硬件受限环境，文章介绍了一种隐私保护、资源高效的联邦学习概念：服务器预训练模型，低端客户端微调，通过概率混合实例级特征统计简化适应，并全局聚合参数。初步结果表明，该方法在保持竞争性性能的同时降低了计算和传输成本。
Q&A
联邦学习中的标签噪声问题会导致什么后果？
标签噪声会导致全局模型的准确度线性下降、训练收敛速度变慢且容易过拟合。
FedCorr 是如何处理联邦学习中的异构标签噪声的？
FedCorr 是一个多阶段框架，它动态识别嘈杂的客户端，基于每个样本的损失来纠正客户端中的错误标签，并增加基于估计的本地噪声级别的自适应局部近端正则化项来应对数据异构性并提高训练稳定性。
FedNoRo 框架在医疗场景下如何解决标签噪声和类别不平衡问题？
FedNoRo 框架第一阶段使用高斯混合模型进行噪声客户端识别，第二阶段结合知识蒸馏和距离感知聚合函数用于噪声鲁棒联邦模型更新。
Fed-NCL 框架如何提高联邦学习对噪声客户端的鲁棒性？
Fed-NCL 通过鲁棒的层级聚合和标签修正来解决由噪声客户端引起的数据异质性问题，从而提高带有噪声客户端的各种最新系统的性能。
在联邦学习中，如何利用用户反馈进行降噪？
通过使用用户反馈进行标记和降噪，可以提高机器学习模型的性能，同时保护隐私。实验表明该方法在两个文本分类数据集上有效。
FedReg 算法如何解决分布式学习中的灾难性遗忘问题？
FedReg 算法在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。
