加密 Fine-tuning 变压器：使用完全同态加密
内容提要
本文综述同态加密在隐私保护机器学习中的进展，涵盖MedBlindTuner、多项式变换器、THE-X等框架，可在加密医学图像、文本和CIFAR数据上训练推断，准确率接近非加密模型。
延伸解读
同态加密在医疗图像分析中的隐私保护实践
文章重点介绍了MedBlindTuner框架，它结合全同态加密（FHE）和数据高效图像变换器（DEiT），使得模型能够直接在加密的医学图像（如胸部X光片）上进行训练。实验表明，其准确率与非加密模型相当，为外包机器学习计算提供了安全方案，同时保护患者数据隐私。这标志着FHE在医疗图像分析领域首次与DEiT结合，为敏感医疗数据的隐私保护提供了新思路。
多项式变换器：实现加密文本推断的突破
文章提到了一种多项式变换器，专为同态加密设计，通过将运算符转换为多项式等效形式，实现了在加密数据上的安全推断。该模型在WikiText-103上进行了隐私保护推断，并在CIFAR-100和Tiny-ImageNet上进行了图像分类，性能与传统方法相当。这突出了HE在最先进应用中的可行性，并展示了其在自然语言处理和计算机视觉任务中的潜力。
THE-X：加密数据上的预训练模型推断方案
THE-X是一种近似变形器方法，允许在仅有密文数据的情况下进行预训练模型的隐私保护推断。它解决了变压器网络复杂计算的处理问题，使得训练后的模型能够对加密数据进行推断，并实现了理论上的隐私保护优势。这为在保护用户隐私的同时利用预训练模型提供了实用方案，尤其适用于用户特定文本的自适应和微调场景。
Q&A
MedBlindTuner 是什么？它如何保护医学图像隐私？
MedBlindTuner 是一个基于全同态加密（FHE）和数据高效图像变换器（DEiT）的隐私保护框架。它使机器学习模型仅在 FHE 加密的医学图像上进行训练，从而在向第三方共享敏感患者数据时保护隐私，且准确率与在非加密图像上训练的模型相当。
同态加密在隐私保护机器学习中有哪些主要应用案例？
同态加密在隐私保护机器学习中的应用包括：MedBlindTuner 用于加密医学图像训练；多项式变换器用于安全推断；THE-X 用于加密数据推断；以及使用 RNS-CKKS FHE 在 CIFAR-10 上训练 ResNet-20 等。这些案例展示了在加密数据上进行训练和推断的可行性。
使用全同态加密训练神经网络时，如何处理激活函数和跳过连接？
文章提到研究人员讨论了在 HE 条件下处理激活函数和跳过连接的不同策略，并采用最新的近似方法来评估非算术函数，例如在 RNS-CKKS FHE 技术中。这些策略有助于在加密数据上实现高效的神经网络训练。
THE-X 方法如何实现加密数据上的隐私保护推断？
THE-X 是一种近似变形器方法，使得可以在仅有密文数据的情况下进行预训练模型的隐私保护推断。它提供了一种处理变压器网络复杂计算的解决方案，并能够使训练后的模型进行加密数据推断，实现理论上的隐私保护优势。
在加密数据上训练卷积神经网络（如 ResNet-20）的准确率如何？
文章提到，使用 RNS-CKKS FHE 技术及 bootstrapping 策略，并采用最新的近似方法，成功实现了对 CIFAR-10 数据集上的 ResNet-20 模型进行 FHE 加密计算，分类准确率达到了 90.67%。
多项式变换器在隐私保护推断中有什么创新？
多项式变换器是第一个使用 HE 进行安全推断的示例，包括特为 HE 量身定制的变换器架构，以及一种将运算符转换为多项式等效形式的新方法。这使得在 WikiText-103 上进行隐私保护推断，以及在 CIFAR-100 和 Tiny-ImageNet 上进行图像分类成为可能，性能与传统方法相当。
