文本增强的无数据联邦类增量学习方法
内容提要
本文介绍了无数据知识蒸馏和联邦学习框架，旨在提升模型性能和保护数据隐私。NAYER方法通过嘈杂层生成高质量样本，FedLGT框架解决用户异构性，FedET框架降低通信成本并提高准确率。TARGET方法应对灾难性遗忘，KT-RCNet实现知识传递，联邦迁移学习（FTL）在保护隐私的同时提升模型性能。
延伸解读
无数据知识蒸馏的效率突破
NAYER方法通过嘈杂层生成高质量样本，利用标签文本嵌入作为输入，防止模型过度强调受限标签信息。实验表明，该方法在多个数据集上优于现有技术，且速度提升5到15倍。这为无数据场景下的知识蒸馏提供了高效解决方案，尤其适用于数据隐私敏感或数据难以获取的场景。
联邦学习中的异构性与通信优化
FedLGT框架针对多标签分类中的用户异构性和标签相关性，通过客户端间知识传递学习稳健的全局模型。FedET框架则结合预训练Transformers和Enhancer，在非i.i.d类别不平衡下实现低通信成本和高精度，平均准确率提升14.1%，通信成本节省90%。这些进展表明联邦学习正朝着更实用、更高效的方向发展。
灾难性遗忘的应对策略
TARGET方法通过全局模型在模型层次传输旧任务知识，并利用生成器合成数据模拟全局分布，以缓解联邦类增量学习中的灾难性遗忘，同时保护客户数据隐私。类似地，KT-RCNet利用伪增量任务进行知识传递，优化模型塑性，在Few-shot类增量学习数据集上取得良好效果。这些方法为动态环境下的持续学习提供了新思路。
联邦迁移学习的隐私与性能平衡
联邦迁移学习（FTL）允许在数据联邦下共享知识而不危及用户隐私，通过传输补充知识使目标域方利用源域方的丰富标签构建更强大的模型。该框架对现有模型结构修改最小，并提供与非隐私保护方法同等的准确性，且适应多种安全多方机器学习任务。这展示了隐私保护与模型性能可以兼得。
Q&A
NAYER方法是如何提升模型效率的？
NAYER方法通过嘈杂层生成高质量样本，防止模型过度强调受限标签信息，从而提升模型效率。
FedLGT框架解决了哪些问题？
FedLGT框架解决了用户异构性和标签相关性的问题，通过知识传递学习稳健的全局模型。
FedET框架如何降低通信成本？
FedET框架结合预训练Transformers和Enhancer，通过增强新知识实现低通信成本和高精度。
TARGET方法是如何应对灾难性遗忘的？
TARGET方法通过生成器产生合成数据，并利用先前训练的全局模型传输旧任务的知识来应对灾难性遗忘。
KT-RCNet方法的主要目标是什么？
KT-RCNet方法的主要目标是通过伪增量任务实现知识传递，优化模型以满足Few-shot类增量学习的需求。
联邦迁移学习（FTL）如何保护用户隐私？
联邦迁移学习（FTL）通过允许知识共享而不危及用户隐私，确保在数据联邦下提高统计模型性能。
