具有新类增强式自蒸馏的联邦增量学习
内容提要
该文综述了联邦学习应对数据异构、灾难性遗忘与标签噪声等问题的多种方法，包括自适应自蒸馏正则化、全局-本地遗忘补偿、FedNAS自动架构搜索、基于生成模型合成旧样本的类增量学习、FedCNI噪声鲁棒聚合、FedND知识蒸馏与噪声样本处理、基于历史更新减除的联邦遗忘、FEDLGD本地-全局蒸馏合成数据，以及利用未标记公共数据的单向离线蒸馏隐私保护框架。
延伸解读
联邦增量学习的核心挑战与应对思路
文章指出联邦增量学习需同时应对数据异构、灾难性遗忘和标签噪声。针对数据异构，ASD在客户端自适应调整模型以接近全局模型；针对遗忘，GLFC补偿本地与全局遗忘，生成模型合成旧样本；针对标签噪声，FedCNI采用噪声鲁棒局部求解器和强健全局聚合器。这些方法分别从正则化、数据回放和聚合策略入手，形成互补的技术路线。
知识蒸馏在联邦学习中的多重角色
知识蒸馏在文中出现在多个方案中：FedND在客户端自蒸馏、服务器端生成噪声样本供其他客户端蒸馏，兼顾性能与通信效率；FEDLGD通过本地和全局蒸馏创建小型合成数据集，以有限虚拟数据超越领先的异构FL算法；单向离线蒸馏则利用未标记公共数据训练中央模型，降低隐私泄漏风险。蒸馏不仅用于模型压缩，更成为应对异构性和隐私保护的工具。
架构搜索与遗忘消除的专门化方案
FedNAS通过自动化协作搜索模型架构，在非独立同分布数据上搜索到的架构胜过手动预设，减少了手动设计工作。联邦遗忘方法则从模型中减去历史累积更新以消除客户端贡献，并利用知识蒸馏恢复性能，不依赖客户端参与且不限制网络类型，还引入后门攻击评估遗忘效果。这两类方案分别从模型结构优化和贡献移除角度扩展了联邦学习的边界。
Q&A
联邦学习里客户端数据分布不一致会导致什么问题？有什么解决办法？
数据分布不一致会导致本地模型偏离全局模型，影响联邦学习性能。一种解决办法是自适应自蒸馏（ASD）正则化技术，它在客户端训练时适应性地调整模型以接近全局模型，可集成到现有FL算法中显著提升性能。
联邦学习中的灾难性遗忘指的是什么？如何补偿？
灾难性遗忘指模型在学习新数据时遗忘旧知识，在联邦学习中包括本地遗忘和全局遗忘。全局-本地遗忘补偿（GLFC）模型可解决该问题，同时考虑隐私和类别不平衡。
FedNAS是什么？它如何提升联邦学习的模型精度？
FedNAS是基于神经架构搜索（NAS）的联邦学习算法，用于自动化协作搜索模型架构。它针对数据分布不一致导致的结构不适配问题，在非独立同分布数据集上搜索到的架构优于手动预设架构，从而提高精度并减少手动设计工作。
联邦类增量学习中如何利用生成模型减轻遗忘？
面向联邦类增量学习的框架利用生成模型从过去分布中合成样本，以减轻模型训练新数据时对旧知识的遗忘，同时解决隐私和资源限制等联邦学习独特复杂性，实验表明相比现有基准有显著改进。
FedCNI如何处理联邦学习中的标签噪声和类别不平衡？
FedCNI通过使用噪声鲁棒局部求解器和强健的全局聚合器，在小规模本地数据集中解决标签噪声和类别不平衡挑战，在混合异构FL场景中实现了比现有技术更好的性能。
联邦遗忘有哪些新方法？如何在不使用客户端数据的情况下恢复模型性能？
一种新颖的联邦遗忘方法通过从模型中减去历史累积更新来消除客户端贡献，并利用知识蒸馏恢复模型性能，无需来自客户端的任何数据。该方法不依赖客户端参与，对神经网络类型无限制，并引入后门攻击评估遗忘效果，实验证明有效且高效。
