本文探讨了在Amazon P5（H100 GPU）上部署Llama-3-70B模型的FP8精度推理方案，涵盖性能评估、TensorRT-LLM优化建议及最佳实践。Llama-3模型采用新Tokenizer和高效的分组查询注意力，提升了多语种处理能力。FP8格式在动态范围和显存占用上优于INT8和FP16，适合大型语言模型的量化。通过Triton和LMI容器，用户可快速搭建高性能推理服务，并建议根据实际业务场景进行压测和优化。