TensorFlow Lite的XNNPack后端通过启用半精度推理，将ARM CPU上的浮点推理性能提高了一倍。这使得可以在旧款和低端设备上部署基于人工智能的功能。半精度（FP16）浮点数在易用性和性能之间提供了平衡，相比传统的FP32推理，速度提高了2倍。移动芯片中对FP16计算的硬件支持使得这一切成为可能。基准测试显示，在各种神经网络架构和移动设备上，接近2倍的速度提升。要在XNNPack中使用半精度推理，需要提供具有FP16权重和特殊元数据的浮点模型。XNNPack代理还提供了强制使用FP16推理的选项。未来的工作包括优化支持原生FP16算术的英特尔处理器的XNNPack。

国内ARM CPU创业公司同质化严重，缺乏自主设计能力，依赖台积电尖端工艺。铁流认为，核心IP自研才是掌握核心技术，使用成熟工艺设计高性能芯片才是真本事。希望企业能更多地用到自研IP上，依靠自身设计能力提升性能。