基于提示的个性化联邦学习用于医学视觉问答
内容提要
该文综述联邦学习与提示学习结合的研究，涵盖个性化提示生成、双提示联邦学习、多模态提示检索、医学视觉问答隐私保护等方向，旨在解决数据异构、通信开销和隐私问题，提升模型泛化与个性化能力。
延伸解读
个性化联邦学习在医学视觉问答中的核心挑战
文章指出，医学视觉问答场景下，联邦学习面临数据异构、通信开销和隐私保护三大挑战。数据异构导致全局模型难以适应各客户端的本地数据分布；通信开销阻碍了联邦学习的效率；隐私保护则要求避免敏感医学信息泄露。这些挑战共同推动了提示学习与联邦学习的结合，以实现模型泛化与个性化的平衡。
提示学习如何赋能联邦学习
文章综述了多种提示学习与联邦学习结合的方法，如pFedPG在服务器端学习个性化提示生成器，为每个客户端生成特定视觉提示；TPFL整合视觉和文本模态提示以刻画本地数据特征；FedTPG学习统一的提示生成网络以泛化到未知类别。这些方法通过提示调整，在不更新全部模型参数的情况下实现高效个性化，降低通信成本。
医学视觉问答中的隐私保护与性能提升
文章提到，结合多模态提示检索和生成模型的方法在医学视觉问答任务中比非检索方法精度提升高达30%。同时，针对文档视觉问答的隐私问题，有研究提出使用联邦学习和差分隐私的基线方案，以保护敏感信息并避免模型记忆效应导致的信息泄露。这表明提示学习与联邦学习的结合能在提升性能的同时兼顾隐私。
联邦学习在医学领域的实证发现
文章引用了一项在生物医学自然语言处理任务上的评估，使用6个语言模型和2个任务，结果显示：联邦学习模型总体优于单个客户数据训练的模型，有时与整合数据训练的模型持平；当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练Transformer的模型表现更强劲；在独立同分布数据下，联邦学习模型接近整合数据模型，但在非独立同分布数据下有明显差距。
Q&A
pFedPG 是什么？它如何实现个性化联邦学习？
pFedPG 是一种新型的个性化联邦学习框架，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，从而在从大规模模型获取强大表示能力的同时，为异构客户端实现高效个性化模型优化。
TPFL 和 ATPFL 分别是什么？它们解决了联邦学习中的哪些问题？
TPFL 是双提示联邦学习，整合视觉和文本模态以更全面描绘本地客户端数据特征，解决通信开销问题。ATPFL 是增强型 TPFL，采用对比学习技术，应对数据异质性问题，增强客户端模型的全局知识获取能力，并促进稳健、紧凑模型的发展。
在医学视觉问答中，结合多模态提示检索和生成模型的方法有什么优势？
该方法在医学领域的视觉问题回答任务中，比非检索方法提高高达 30% 的精度。
联邦学习在医学领域的应用效果如何？有哪些主要发现？
通过对 2 个生物医学自然语言处理任务使用 6 个语言模型评估，发现：1）联邦学习模型总体表现优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布时与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。
FedTPG 方法解决了提示学习中的什么问题？
FedTPG 通过联合文本驱动的提示生成方法，在多个远程客户端上学习统一的提示生成网络，解决了现有提示学习技术在泛化到未知类别方面的挑战，实现了针对已见和未见类别的更好泛化，并且对未见数据集也具有泛化能力。
PI-FL 是什么？它如何激励客户参与联邦学习？
PI-FL 是一种一次性个性化解决方案，采用基于令牌的奖励机制来激励客户参与个性化训练，克服了客户不愿意参与联邦学习进程的问题，同时确保客户隐私，该方案表现优于其他现有方法，能够生成高质量的个性化模型。
