竖直联邦学习混合本地预训练
内容提要
本文综述了垂直联邦学习（VFL）的概念、算法及面临的挑战，提出了新方法VFedMH以解决异构模型训练问题，并分析了其收敛性能。同时介绍了Flex-VFL和MMVFL等新算法，探讨了隐私保护和安全性问题，展示了VFL在多方参与下的有效性和应用前景。
延伸解读
异构模型训练：VFL 的核心挑战
文章指出，现有垂直联邦学习方法在处理参与者之间的异构本地模型时面临挑战，影响优化收敛和泛化能力。这意味着当各方使用不同结构的模型时，传统聚合中间结果的方式可能失效。VFedMH 的提出正是为了应对这一问题，其思路是聚合知识嵌入而非中间结果，从而支持多个异构模型的同时训练。
VFedMH 如何绕过标签缺失难题
在垂直联邦学习中，被动方没有标签，无法独立计算本地模型梯度。VFedMH 通过安全聚合本地嵌入获得全局知识嵌入，并发送给被动方进行前向传播；同时由主动方协助被动方计算梯度。这一设计使得被动方也能训练本地异构模型，且目标是最小化各自模型的损失值，为无标签参与方提供了可行的训练路径。
安全与隐私：VFL 不可忽视的另一面
文章不仅讨论算法性能，还专门探讨了 VFL 的安全保障问题，包括隐私保护协议、攻击和防御策略。其中提到一种干净标签后门攻击技术，并在三个数据集上验证了其有效性。这提醒读者，VFL 在保护数据隐私的同时，模型本身也可能成为攻击目标，安全性需要与训练效率同步考虑。
从算法到应用：VFL 的多样化探索
文章介绍了多种 VFL 相关算法，如 Flex-VFL 通过垂直划分数据训练非凸函数，适应参与方异质性；MMVFL 采用多视角学习共享标签信息，提升多类别分类性能。此外，还涉及工业应用进展和开放性问题的讨论。这些工作表明 VFL 正从理论走向实践，但系统异构、通信成本等挑战仍需进一步解决。
Q&A
什么是垂直联邦学习（VFL）？
垂直联邦学习（VFL）是一种新型的训练范例，关注样本对齐和特征汇聚，允许不同特征的所有者在不共享数据的情况下合作学习全局模型。
VFedMH方法的主要优势是什么？
VFedMH方法专注于聚合参与者的知识嵌入，解决了异构模型训练问题，并通过安全聚合获取全局知识嵌入，提升了优化收敛和泛化能力。
Flex-VFL算法是如何工作的？
Flex-VFL是一种分布式机器学习算法，通过垂直划分数据训练非凸函数，适应参与方的异质性，并使用并行块坐标下降方法训练全局模型。
MMVFL框架的主要功能是什么？
MMVFL框架采用多视角学习思想，在保护隐私的前提下共享标签信息，提升多类别分类性能，适用于多个VFL参与者之间的标签信息共享。
垂直联邦学习面临哪些挑战？
垂直联邦学习面临的挑战包括处理异构本地模型的困难、优化收敛和泛化能力的影响，以及安全隐私保护等问题。
VFL在隐私保护方面有哪些研究方向？
研究探讨了VFL的安全保障问题，提出了对模型安全性的进一步研究方向，关注如何在保护隐私的同时实现有效的模型训练。
