通过混合精度加快科学机器学习速度和减少内存使用
内容提要
本文综述低精度深度神经网络训练技术，涵盖半精度浮点、8位浮点、BFLOAT16及动态定点数，通过降低精度减少内存与能耗，保持或提升模型准确性和训练速度，吞吐量可提高2至4倍。
延伸解读
低精度训练的技术脉络
文章梳理了从半精度浮点、8位浮点到BFLOAT16和动态定点数的多种低精度训练技术。这些技术通过降低数值精度来减少内存占用和能耗，同时利用硬件单元加速计算。例如，半精度浮点训练在2017年已有实践，而8位浮点训练在2019年通过强化误差传播和降低量化噪声，在多个数据集上实现了精度不降反升。
混合精度优化的实际收益
混合精度优化结合单精度和半精度算术，在保持模型准确性的同时降低内存需求。2023年的研究进一步提出在训练中去除参数的浮点副本，仅保留半精度数，并在反向传播中执行优化器步骤，从而实现了高达25%的峰值内存降低和15%的训练加速。这些收益对于内存受限或需要快速迭代的场景具有实用价值。
纯16位网络的潜力与启示
多项研究表明，纯16位神经网络在分类任务中不仅能达到与混合精度和32位浮点模型相似甚至更好的性能，还能提升效率。这提示机器学习实践者可以重新考虑在各类应用中使用纯16位网络，以简化训练流程并降低资源消耗。但需注意，这些结果依赖于具体任务和数据集，实际部署时仍需验证。
Q&A
混合精度训练如何减少内存使用？
混合精度训练利用单精度和半精度浮点算术来降低内存需求，同时保持模型准确性。通过摆脱参数的浮点副本，只保留半精度数，并在反向传播期间执行优化器步骤去除梯度值，可实现高达25%的峰值内存使用降低。
使用低精度训练深度神经网络能提高多少吞吐量？
通过引入基于块的操作和浮点随机取整等技术，在8位浮点数下训练多种深度学习模型，具有提高2-4倍吞吐量的潜力。
BFLOAT16格式在深度学习训练中有什么优势？
使用BFLOAT16半精度格式进行深度学习训练，在达到同样最先进结果时不需要调整超参数，并且可以在Tensorflow、Caffe2、IntelCaffe和Neon等框架中实现。
纯16位神经网络相比32位模型表现如何？
纯16位神经网络在分类任务中，在一定情况下可以取得比32位神经网络更好的结果，其性能与混合精度和32位浮点模型类似甚至更好。
8位浮点训练如何保持模型准确性？
通过强化误差传播和降低量化噪声的方法，8位浮点训练在多个数据集和不同工作负载下与精度基线相比不降反升。
动态定点数编程如何降低能耗？
通过动态定点数编程，将深度神经网络从浮点数向量转换为8位定点数，从而实现低功耗和能耗，并增加分类准确性。
