动态神经网络的联合推理和推断：JEI-DNN
原文中文，约300字，阅读约需1分钟。发表于：。大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。
本文提出了一种名为“Exit Predictor”的早期预测机制，可以降低设备边缘混合推理系统中早期退出网络的设备计算负担。通过回归模型调整预测阈值和置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，该方法具有更高的推理准确性。
