本文讨论浮点精度对模型推理的影响。浮点数由符号、指数和尾数组成，降低精度需权衡范围、精度与内存。FP16尾数多但范围小，BF16范围接近FP32但精度低；FP8、FP4需配合缩放。低精度未必更快，取决于硬件内核支持。可通过to()或加载时指定dtype转换模型，归一化、softmax等敏感操作宜用FP32混合精度。评估应从内存、性能和质量三方面进行，并记录软硬件配置。