边缘设备上可靠和自适应分布式推理的流体动力学 DNNs

本文介绍了一种专为分布推理设计的流体动态DNNs（Fluid DyDNNs）方法，通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，增强系统的可靠性和适应性。Fluid DyDNNs在单设备故障的情况下保证推理的持续性，而Static DNNs和Dynamic DNNs则失败。当设备全部正常运行时，Fluid DyDNNs可以在高精度模式下达到与Static DNNs相当的准确性，或者在高吞吐量模式下分别比Static和Dynamic DNNs提高2.5倍和2倍的吞吐量。