私有推理的线性化对群体准确率的不平等影响
内容提要
该文综述隐私推理中ReLU瓶颈的优化研究：提出梯度优化算法，通过ReLU感知优化选择性线性化，在50K iso-ReLU下提升准确率4.25%，或在保证70%准确率时减少2.2倍运行时间；DeepReDuce等方法减少ReLU数量以降低延迟并保持精度；还探讨了公平性与隐私的权衡及同态加密方案。
延伸解读
ReLU瓶颈与优化思路
文章指出ReLU是私有推理的主要瓶颈，因为非线性操作在加密计算中成本高昂。提出的梯度优化算法通过ReLU感知优化，选择性地线性化部分ReLU，从而在准确率和延迟之间取得更好平衡。实验显示，在50K iso-ReLU下准确率提升4.25%，或在保证70%准确率时运行时间减少2.2倍。
DeepReDuce的对比与贡献
DeepReDuce通过减少ReLU总数来降低私有推理延迟，同时保持高精度。与现有技术相比，在等ReLU数量下提高精度，并将ReLU数量降低3.5%，同时提升3.5倍精度。这为私有推理提供了另一种优化路径，即从减少ReLU数量入手，而非仅优化单个ReLU。
公平性与隐私的权衡
文章探讨了公平性与隐私的权衡，发现公平性会牺牲部分隐私权，尤其对弱势群体。训练数据偏差越大，为弱势群体实现公平所付出的隐私成本越高。此外，数据不平衡和较宽松的隐私保证也会导致非公平性，即使程度较小。
同态加密方案的应用
文章提到结合同态加密技术和神经网络的两种解决方案：一是提高深度和宽度相对较高的网络精度，二是降低网络推理延迟以提供更好隐私保障。这两种方案应用于计算机视觉任务并获得良好效果，展示了同态加密在私有推理中的实际潜力。
Q&A
私有推理中ReLU瓶颈的优化算法有哪些？
文章提到了几种优化算法：基于梯度优化的算法，通过ReLU感知优化选择性线性化，在50K iso-ReLU下提升准确率4.25%，或在保证70%准确率时减少2.2倍运行时间；DeepReDuce方法减少ReLU数量以降低延迟并保持精度；SENet敏捷训练方法减少ReLU神经元；以及将ReLU算子重新表示为近似符号测试并引入截断方法。
DeepReDuce在私有推理中有什么效果？
DeepReDuce通过降低ReLU的总数来减少隐私神经推理的延迟时间，同时保持高精度。与私有推理的最新技术相比，在等ReLU数量的情况下提高了精度，并将ReLU数量降低了3.5%，同时提高了3.5倍的精度。
公平性与隐私在机器学习中如何权衡？
研究发现公平性会牺牲一部分隐私权，特别是对弱势群体。训练数据的偏差越大，为了弱势群体的公平性所付出的隐私成本也越高。此外，即使数据有小的不平衡和较宽松的隐私保证也会引起非公平性。
同态加密在私有推理中有哪些应用方案？
文章提到结合同态加密技术和神经网络提供了两种解决方案：一是提高深度和宽度相对较高的网络精度，二是降低网络推理的延迟时间以提供更好的隐私保障。这两种方案应用于几个计算机视觉任务，并获得了良好的效果。
ReLU感知优化算法在私有推理中的性能提升如何？
该算法通过ReLU感知优化选择性线性化，实验结果表明，相比现有研究，在提升预测准确率（50K iso-ReLU）上可达到4.25%，或者在保证预测准确性（70%）的前提下可减少2.2倍的运行时间，并在延迟-准确性空间中不断完善。
数据不平衡和隐私保证如何影响深度学习模型的公平性？
研究发现，不同程度的数据不平衡和隐私保证会影响深度学习模型的准确性和公平性。即使数据有小的不平衡和较宽松的隐私保证，也会引起非公平性。
