本文提出了一种新型的联邦遗忘框架,旨在解决联邦学习中的遗忘问题。该方法通过减去历史更新来消除客户端贡献,并利用知识蒸馏恢复模型性能,无需依赖客户端数据。此外,研究还探讨了基于区块链的可信联邦取消学习框架和快速数据淘汰方法,以保护数据隐私。实验结果显示,该框架在准确性、通信成本和去学习效果方面表现优越。
联邦遗忘旨在让联邦学习模型选择性消除特定客户端或数据的影响,同时保护隐私。研究提出多种框架:基于增量学习与弹性权重约束的方法、通过减去历史累积更新并蒸馏恢复性能的方法、满足通信效率与可证明性的FATS框架,以及分散隔离编码框架。综述梳理了算法、指标与挑战,并探讨区块链安全共享。
该文综述联邦学习中的机器遗忘(联邦遗忘)研究,旨在保护隐私并实现“被遗忘权”,涵盖反向梯度下降、数据淘汰、知识蒸馏、公平性遗忘及FATS等框架,并总结相关算法、评价指标与挑战。
本文综述机器遗忘研究,涵盖:结合Transformer的轻量级遗忘层,无需重训即可更新大模型以保护隐私;通过梯度上升遗忘目标序列的知识遗忘,顺序遗忘优于一次性遗忘;首个可证明且保持公平的实例消除方法;联邦遗忘的分散性与隐私挑战及现有算法与指标综述;删除数据对公平性的潜在损害及SISA的公平性优势;从LLM训练数据子集中遗忘;性能与任务感知的遗忘算法;以及准确与近似方法、攻击与验证的评估调查。
本文总结了联邦遗忘(FU)领域的发展和挑战,重点关注可信任的联邦学习(FL)的分散化和隐私保护。文章提供了现有算法、目标、评价指标,并分类总结了各种方案、潜在应用和未来方向。
完成下面两步后,将自动完成登录并继续当前操作。