EERO: 早期退出与拒绝选项的有限预算高效分类
内容提要
本文综述了早期退出与拆分计算技术，包括EENet多目标推理框架、Exit Predictor延迟感知边缘推理、ConsistentEE强化学习退出、HashEE哈希预测、SplitEE在线无监督学习及I-SplitEE等方法，旨在资源受限设备上平衡推理精度与计算成本。
延伸解读
早期退出与拆分计算的融合趋势
文章综述的多个方法显示，早期退出与拆分计算正从独立技术走向融合。例如，SplitEE和I-SplitEE将两者结合，在资源受限设备上实现选择性计算和外部计算，从而大幅降低成本。这种融合旨在同时优化计算效率和通信开销，为边缘推理提供了更灵活的部署选项。
强化学习与哈希技术优化退出决策
ConsistentEE利用强化学习形式化退出过程，通过策略网络和记忆层动态决定实例是否退出，提升了加速和准确性。HashEE则采用哈希技术预测实例难度，将令牌分配到固定退出层，无需内部分类器或额外参数，在减少计算量的同时保持高性能。这些方法展示了退出决策机制的多样化创新。
训练策略与不确定性评估的改进
文章提到基于样本加权的训练策略，通过联合优化权重预测网络和主干模型，模拟推理时的自适应行为，以桥接训练与测试的差距。此外，针对不确定性评估，有研究将Deep Ensembles扩展到接近二元决策边界的样本，发现级联/集成模型在OOD数据上更可靠。这些工作从训练和评估角度提升了早期退出的实用性。
实际部署中的权衡与适应性
在边缘部署中，方法需权衡准确性、计算效率和通信成本。例如，Exit Predictor通过回归模型调整阈值以适应带宽变化，而I-SplitEE在线无监督算法能适应环境失真，在Caltech-256和Cifar-10数据集上实现成本降低至少55%而性能退化最多5%。这表明早期退出技术正朝着更自适应、鲁棒的方向发展。
Q&A
EENet 是如何在给定推理预算下优化早期退出策略的？
EENet 是一个基于多目标学习的多出口深度神经网络推理框架。其早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显著提高性能。
Exit Predictor 在边缘推理中有什么作用？
Exit Predictor 是一种早期预测机制，通过引导某些明显“困难”的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，它考虑通信带宽的变化，通过几个简单的回归模型调整预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验表明，Exit Predictor 能在准确性和设备计算负担之间取得更好的折衷，并在不同带宽条件下具有更高的推理准确性。
ConsistentEE 如何利用强化学习改进早期退出？
ConsistentEE 使用强化学习将退出过程形式化，通过添加策略网络来决定实例是否退出或继续，并利用一个记忆层来衡量实例的难度，从而提高加速和准确性。在自然语言理解和生成任务中，实验证明该方法优于其他基线模型。
HashEE 方法相比传统早期退出方法有哪些优势？
HashEE 是一种基于哈希技术的早期结束方法，用于替代 learn-to-exit 模块来预测每个实例的困难度，并将每个令牌分配到一个固定的退出层。实验证明，与先前的早期退出方法相比，该方法在分类、回归和生成任务中能够实现更高的性能，且需要更少的 FLOPs 和推理时间，并且不需要内部分类器或额外参数。
SplitEE 如何结合早期退出和拆分计算来降低推理成本？
SplitEE 将早期退出和拆分计算相结合，开发了一种在线无监督学习算法，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。
I-SplitEE 算法适用于哪些场景，效果如何？
I-SplitEE 是一种在线无监督算法，适用于缺乏基本事实和具有时序数据的场景，以应对图像分类中的环境失真（如时间、光照和天气）。使用 Caltech-256 和 Cifar-10 数据集进行的实验证实，I-SplitEE 能够通过最多降低 5% 的较小性能退化来将成本降低至少 55%。
