The TensorFlow Blog
·
使用XNNPack实现更快的动态量化推理
内容提要
XNNPack的全连接和卷积2D运算符现在支持动态范围量化，在TensorFlow Lite中提高了CPU推理性能。动态范围量化允许在旧的和低端设备上部署更多的AI功能。它通过根据观察到的激活范围动态计算量化参数来最大化量化过程的准确性。动态范围量化提供了与完全量化相似的性能提升，并具有更高的整体准确性。XNNPack的优化运算符可用于各种架构上的动态范围量化模型。与完全整数量化相比，动态范围量化对非专家用户更加易于使用。混合精度推理，结合半精度推理和动态范围量化，可以进一步提高CPU推理性能。基准测试显示，与使用TFLite的内核的原始float32模型相比，速度提升。
关键要点
-
XNNPack的全连接和卷积2D运算符现在支持动态范围量化，提升了TensorFlow Lite的CPU推理性能。
-
动态范围量化允许在旧设备上部署更多AI功能，通过动态计算量化参数来提高准确性。
-
动态范围量化提供与完全量化相似的性能提升，但整体准确性更高。
-
XNNPack的优化运算符适用于多种架构的动态范围量化模型，易于非专家用户使用。
-
混合精度推理结合半精度推理和动态范围量化，进一步提高CPU推理性能。
-
动态量化模型的推理可以利用XNNPack的高度优化的全连接和卷积运算符。
-
使用动态范围量化需要在模型转换时启用相关标志，无需代表性数据集。
-
从TensorFlow 2.17开始，动态量化的XNNPack推理将在预构建的二进制文件中默认启用。
-
动态量化模型可以与半精度推理结合，以提高设备上的CPU推理性能。
-
基准测试显示，动态范围量化模型在多个计算机视觉任务中相较于原始float32模型有显著速度提升。
延伸问答
动态范围量化是什么？
动态范围量化是一种在模型推理时根据观察到的激活范围动态计算量化参数的技术，旨在提高量化过程的准确性。
使用XNNPack的动态范围量化有什么优势？
使用XNNPack的动态范围量化可以在旧设备上部署更多AI功能，并提供与完全量化相似的性能提升，同时整体准确性更高。
如何在TensorFlow中启用动态范围量化？
在TensorFlow中启用动态范围量化需要在模型转换时设置converter.optimizations = [tf.lite.Optimize.DEFAULT]，且不需要代表性数据集。
动态范围量化与完全量化有什么区别？
动态范围量化在推理时动态计算量化参数，而完全量化在模型转换时固定这些参数，动态范围量化的输出为32位浮点格式。
动态范围量化如何提高CPU推理性能？
动态范围量化通过优化全连接和卷积运算符，使得推理速度显著提升，尤其是在低端设备上。
混合精度推理是什么？
混合精度推理是结合半精度推理和动态范围量化的一种技术，旨在进一步提高设备上的CPU推理性能。
