联邦在线学习排序中如何遗忘客户？
内容提要
该文综述联邦学习中的机器遗忘（联邦遗忘）研究，旨在保护隐私并实现“被遗忘权”，涵盖反向梯度下降、数据淘汰、知识蒸馏、公平性遗忘及FATS等框架，并总结相关算法、评价指标与挑战。
延伸解读
联邦遗忘的核心挑战
联邦学习通过客户端协同训练全局模型而不共享原始数据，这使隐私得到保护，但也让选择性遗忘特定信息变得复杂。文章指出，联邦遗忘的主要挑战在于联邦学习的分散化和隐私保护特性，使得删除某个客户端或数据的影响比集中式机器学习遗忘更困难。
主要技术路线与代表方法
文章综述了多种联邦遗忘技术，包括反向梯度下降、数据淘汰、知识蒸馏、公平性遗忘以及FATS框架等。这些方法从不同角度解决遗忘问题：有的通过最大化局部损失来消除数据影响，有的通过减去历史更新并蒸馏恢复性能，还有的追求遗忘后模型与未删除数据训练模型在统计上无差异。
评价指标与待解问题
文章提到联邦遗忘的评价指标涉及遗忘效果、模型准确性、通信成本、计算成本等。同时，该领域仍面临诸多挑战，如如何在保护隐私的同时实现可证明的遗忘、如何平衡遗忘与模型性能、以及如何应对公平性等复杂需求。这些挑战指明了未来研究方向。
Q&A
联邦遗忘是什么？它和机器遗忘有什么区别？
联邦遗忘（FU）是联邦学习中的机器遗忘，旨在保护隐私并实现被遗忘权。与机器遗忘相比，FU的主要挑战在于联邦学习的分散化和保护隐私特性，客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息更加复杂。
联邦遗忘有哪些主要方法？
联邦遗忘的主要方法包括：反向梯度下降法（使局部经验损失最大化）、数据淘汰方法、知识蒸馏方法（从模型中减去历史累积更新并恢复性能）、公平性遗忘方法、以及FATS（总变差稳定的联邦学习算法）等。
FATS框架是什么？它有什么特点？
FATS是总变差稳定的联邦学习算法，修改了经典的FedAvg算法以实现轮次通信的降低。它满足通信效率和完全去学习可证明性两个基本条件，保证去学习后的模型与未删除数据时训练的模型在统计上无差异，并支持客户级和样本级的去学习。
联邦遗忘面临哪些挑战？
联邦遗忘的主要挑战在于联邦学习的分散化和保护隐私的特性，客户端共同训练全局模型而不共享原始数据，使得有选择地遗忘特定信息变得更加复杂。此外，还需要平衡模型准确性和信息删除，并满足通信效率和可证明性等要求。
联邦遗忘如何保护用户隐私和实现被遗忘权？
联邦遗忘通过从模型中消除特定客户或数据的影响来保护用户隐私和实现被遗忘权。例如，通过反向梯度下降法使局部经验损失最大化，或从模型中减去历史累积更新，并利用知识蒸馏恢复模型性能，而不使用来自客户端的任何数据。
联邦遗忘有哪些评价指标？
联邦遗忘的评价指标包括：遗忘效果（如后门攻击评估）、模型准确性、通信成本、计算成本、以及去学习可证明性（如统计无差异性）等。
