BriefGPT - AI 论文速递
·
加速推理与减少遗忘：早退出网络在持续学习中的双重好处
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 '困难' 的数据样本绕过早期出口的计算，降低设备边缘混合推理系统中早期退出网络的计算负担。同时，通过回归模型调整预测阈值和置信度阈值，适应不同带宽条件下的推理需求。实验结果表明，Exit Predictor 在准确性和设备计算负担之间取得更好的折衷效果。
🎯
关键要点
-
提出了一种早期预测机制 'Exit Predictor'，用于降低设备边缘混合推理系统中的计算负担。
-
通过引导明显 '困难' 的数据样本绕过早期出口的计算。
-
考虑通信带宽变化，使用回归模型调整预测阈值和置信度阈值。
-
Exit Predictor 在准确性和设备计算负担之间取得更好的折衷效果。
-
与基线方法相比，提出的方法在不同带宽条件下具有更高的推理准确性。
🏷️
标签
➡️
