NITRO-D: 深度卷积神经网络的原生整数训练
原文中文,约400字,阅读约需1分钟。发表于: 。NITRO-D 是一个新的框架,用于训练完全在整数领域进行训练和推理的任意深度整数型卷积神经网络,不需要引入量化方案,并通过多个整数本地损失块和特定于整数领域的优化器 IntegerSGD 引入了一种新颖的整数型学习算法。
本文介绍了卷积神经网络量化技术,通过逐通道和逐层量化权重和激活,降低模型大小并提高分类准确率。作者提出了一种使用TensorFlow和TensorFlowLite进行卷积网络量化的工具,并回顾了量化训练的最佳实践。作者建议在硬件加速和内核优化中使用逐通道量化的权重和逐层量化的激活,并提议未来处理器和硬件加速器支持多种精度。