动态神经网络的联合推理和推断：JEI-DNN

BriefGPT - AI 论文速递 · 2023-10-13T00:00:00Z

本文提出了一种名为“Exit Predictor”的早期预测机制，可以降低设备边缘混合推理系统中早期退出网络的设备计算负担。通过回归模型调整预测阈值和置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，该方法具有更高的推理准确性。