可扩展的孤立与编码分片联邦去学习
内容提要
该文综述联邦取消学习研究，涵盖基于区块链的可信框架、增量学习与弹性权重约束方法、编码学习协议、编码联邦学习、FATS总变差稳定算法、知识蒸馏遗忘法、联邦子模型学习及FedLU知识图谱遗忘框架，并梳理分类体系与挑战。
延伸解读
联邦去学习的核心挑战与解决思路
联邦去学习旨在从全局模型中移除特定客户端或数据的影响，同时保持模型性能。文章指出，现有方法常需中央服务器保留历史模型参数，这带来存储和隐私问题。基于区块链的框架通过验证数据删除和消除其他客户端模型中的数据贡献，避免中央服务器保留历史参数，从而提升去学习效果。
编码策略在去学习中的效率优势
文章提到，编码学习协议利用线性编码器将训练数据编码成碎片，以支持学习和完美取消学习。实验表明，相比未编码基线，该方法在性能和取消学习成本之间提供了更好的平衡。此外，编码联邦学习通过预计算冗余梯度，在异构计算平台上加速全局模型收敛达四倍以上，这有助于缓解迟滞计算和通信问题。
FATS框架的理论保证与实证效果
FATS框架基于总变差稳定性，修改FedAvg算法以降低轮次通信，并设计客户级和样本级去学习算法。文章提供理论保证，证明学习和去学习算法在原始模型和去学习模型上均达到确切的联邦去学习，并具有合理收敛速度。在6个基准数据集上的实证验证展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。
知识蒸馏在联邦遗忘中的应用
文章介绍了一种联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端贡献，并利用知识蒸馏恢复模型性能，无需客户端数据参与。该方法不依赖客户端参与，对神经网络类型无限制，并引入后门攻击评估遗忘效果。类似地，FedLU框架利用相互知识蒸馏处理数据异质性，并结合认知神经科学的遗忘方法，在知识图谱嵌入学习和遗忘中取得优秀结果。
Q&A
联邦取消学习是什么？它要解决什么问题？
联邦取消学习是联邦学习中的一个研究问题，旨在消除特定客户端或数据对全局模型的影响，使得删除数据后的模型与未删除数据时训练的模型在统计上无差异。它解决了在联邦学习场景下，如何在不访问原始数据的情况下，从全局模型中移除某些客户端或数据贡献的挑战。
有哪些实现联邦取消学习的主要技术方法？
主要技术方法包括：基于区块链的可信框架、增量学习与弹性权重约束、编码学习协议、编码联邦学习、FATS总变差稳定算法、知识蒸馏遗忘法、联邦子模型学习以及FedLU知识图谱遗忘框架等。
FATS算法是如何实现联邦取消学习的？
FATS算法利用模型参数对数据集轻微变化的变动程度（总变差稳定性）来实现快速联邦取消学习。它修改了经典的FedAvg算法以降低轮次通信，并设计了针对客户级和样本级的高效取消学习算法，提供了理论保证，确保达到确切的联邦取消学习。
基于区块链的联邦取消学习框架有什么优势？
基于区块链的可信联邦取消学习框架通过验证数据删除和消除其他客户端模型中存储的数据贡献，实现更好的数据删除效果，解决了现有工作中需要中央服务器保留分布式客户端历史模型参数的问题。
FedLU框架如何处理知识图谱中的遗忘问题？
FedLU框架利用相互的知识蒸馏处理数据异质性造成的局部优化与全局收敛之间的漂移，并提出一种基于认知神经科学的遗忘方法，结合逆行干扰和被动衰减，通过重用知识蒸馏从本地客户端中抹除特定知识并传播到全局模型。
联邦取消学习面临哪些挑战和未来方向？
联邦取消学习面临的挑战包括通信效率、可证明性、异构性等。未来研究方向包括进一步优化算法、扩展应用场景、解决尚未解决的技术挑战等。
