划分而非劫持：在划分学习中防止特征空间劫持攻击
内容提要
本文探讨了分层学习与同态加密结合的方法在MIT-BIH数据集上的应用，显著提高了训练速度并减少了通信开销，同时增强了深度学习中的隐私保护。此外，研究了分割学习与差分隐私的结合，发现差分隐私的保护效果有限，并提出了改进措施。
延伸解读
同态加密与分割学习的效率权衡
文章指出，将同态加密与分层学习结合，在MIT-BIH数据集上训练速度约为其他同态加密方法的6倍，通信开销减少近160倍。这表明该混合方案能显著提升效率，但需注意其基于特定数据集和模型，实际部署时可能因数据规模或网络条件而异。此外，U型分割学习协议在同态加密数据上操作，准确率仅下降2.65%，说明隐私保护与模型效用可较好平衡。
差分隐私在分割学习中的局限性
文章通过特征空间劫持攻击评估了差分隐私在分割神经网络中的保护效果，发现其有效性有限，并提出了潜在风险缓解方法。另一项研究也表明，微小的差分隐私可以减轻隐私风险，但整体保护不足。这提示读者，差分隐私并非万能，在分布式学习中需结合其他防御手段，如SplitGuard检测训练劫持，或使用R3eLU激活函数防御威胁。
分割学习的安全风险与防御进展
文章提到，Split learning算法存在隐私保护不足的问题，甚至提供的保护是虚假的，攻击者可恢复训练数据和模型参数。然而，分割学习对后门攻击表现出较强抗性，即使使用强模式和注入方法。为应对风险，研究者提出了SplitGuard检测训练劫持、隐私保护信息交换通道及新激活函数R3eLU等防御措施，这些方法在平衡防御与模型可用性方面取得了一定效果。
Q&A
分层学习和同态加密的结合有什么优势？
这种结合在MIT-BIH数据集上显著提高了训练速度，减少了通信开销，并增强了隐私保护。
如何通过在线知识蒸馏提高模型效用？
参与者在不共享输入数据的情况下学习相似特征，并将特征表示发布到中央服务器，从而提升模型效用。
差分隐私在分割学习中的有效性如何？
研究发现差分隐私的保护效果有限，并提出了一些风险缓解方法。
SplitGuard方法的作用是什么？
SplitGuard用于检测分布式深度学习模型中的训练劫持攻击，以保障数据私密性。
分割学习对后门攻击的抗性如何？
分割学习对后门攻击具有较强的抗性，尽管使用了强的模式和注入方法。
使用R3eLU激活函数有什么好处？
R3eLU激活函数能有效防御潜在威胁，平衡防御和模型可用性。
