量化是一种使机器学习模型更小更快的技术。将量化应用于Llama2-70B-Chat模型可以每秒生成2.2倍的标记。量化减少了内存占用并实现了更快的推理。可以应用于模型参数、键值缓存和激活。量化产生了更小的模型，减少了GPU内存使用量，并增加了最大批处理大小。NVIDIA A100和H100 Tensor Core GPU支持快速低精度操作。介绍了INT8和FP8量化设置，FP8通常产生更准确的模型。量化Llama2-70B-Chat模型使模型减小了50%，输出标记生成速度提高了30%，并且与原始模型具有相同的质量。量化还提高了模型吞吐量和并发性。H100 GPU的性能优于A100 GPU。量化后保持了模型质量。