大语言模型推理提速，TensorRT-LLM 高性能推理实践
内容提要
TensorRT-LLM是NVIDIA推出的大语言模型（LLM）推理优化框架，通过量化、In-Flight Batching、Attention和Graph Rewriting等技术提升LLM模型推理效率。本文介绍了如何基于阿里云容器服务ACK的云原生AI套件，利用TensorRT-LLM优化LLM模型推理的实战体验。
延伸解读
量化技术：显存与精度的权衡
TensorRT-LLM 通过量化降低模型精度来减少 GPU 显存占用，支持 W8A8 SQ、W4A16/W8A16 等多种精度。其中 W8A8 SQ 使用 SmoothQuant 技术，在不降低推理准确率的前提下将权重和激活层降至 INT8；W4A16 AWQ 和 GPTQ 则实现 INT4 权重量化。这些技术为不同精度需求提供了灵活选择，但需注意量化可能带来的精度损失，需根据实际场景权衡。
In-Flight Batching：提升吞吐与降低时延
传统 Static Batching 需等待批次内所有序列完成推理，导致资源浪费。In-Flight Batching（又称 Continuous Batching）在序列完成后立即插入新序列，从而提升推理吞吐率并降低时延。该技术尤其适合生成式模型推理中输出长度不一的场景，能有效提高 GPU 利用率，避免因等待长序列而造成的计算资源闲置。
Attention 机制演进：从 MHA 到 GQA
TensorRT-LLM 支持 MHA、MQA 和 GQA 三种注意力机制。MHA 每个 query 存储一份 KV，显存占用高；MQA 所有 query 共享一份 KV，虽节省显存但易丢失细节；GQA 将 query 分组，组内共享 KV，平衡了显存与效果。读者可根据模型规模和任务需求选择合适的注意力机制，以优化推理性能。
实战性能：INT8 量化显著降低显存与时延
在阿里云 ACK 云原生 AI 套件上，使用 TensorRT-LLM 对 Baichuan2-7B-Chat 模型进行 INT8 量化推理，相比原始模型，显存峰值降低 43.8%，时延降低 61.1%。测试基于单 GPU 环境，输入输出长度分别为 32/50 和 128/50，结果显示了量化与 TensorRT-LLM 优化结合的实际收益，为类似场景提供了参考。
Q&A
TensorRT-LLM 是什么？它主要解决什么问题？
TensorRT-LLM 是 NVIDIA 推出的大语言模型（LLM）推理优化框架，旨在提升 LLM 模型推理效率。它主要解决 LLM 模型推理时 GPU 显存资源不足的瓶颈，通过降低 GPU 显存峰值和提高 GPU 使用率来优化推理。
TensorRT-LLM 用了哪些优化技术来提升推理效率？
TensorRT-LLM 主要利用四项优化技术：量化、In-Flight Batching、Attention 和 Graph Rewriting。量化通过降低模型精度减少显存使用；In-Flight Batching 提升吞吐率并降低时延；Attention 机制提取关键信息；Graph Rewriting 优化神经网络执行效率。
TensorRT-LLM 的量化技术具体是怎么做的？支持哪些精度？
量化技术通过降低原始模型的精度来减少推理时的 GPU 显存使用。TensorRT 支持多种模型的多种精度，例如 W8A8 SQ（使用 SmoothQuant 技术，权重和激活层均为 INT8）、W4A16/W8A16（权重为 INT4 或 INT8，激活层为 FP16）、W4A16 AWQ 和 W4A16 GPTQ（权重为 INT4，激活层为 FP16）。
In-Flight Batching 和传统 Batching 有什么区别？
传统 Batching 是 Static Batching，需要等批次中所有序列推理完成后才能进行下一次批次，存在资源浪费。In-Flight Batching（又称 Continuous Batching 或 iteration-level batching）可以在某个序列处理完成后立即插入新序列进行处理，从而提升推理吞吐率、降低推理时延，并提高资源利用率。
在阿里云 ACK 上部署 TensorRT-LLM 需要哪些环境配置？
需要先安装云原生 AI 套件，然后创建 Notebook 环境。Notebook 资源要求 CPU 12 核、内存 40GB、GPU 显存 24GB（节点规格为 ecs.gn7i-c16g1.4xlarge）。接着构建 Notebook 镜像，下载模型（如 Baichuan2-7B-Base），并将模型编译为 TensorRT Engines。
TensorRT-LLM 加速方案在性能测试中取得了什么效果？
在采用 INT8 模型量化的情况下，TensorRT-LLM 加速方案相比于默认的 Baichuan2-7B-Chat 模型，显存峰值降低了 43.8%，时延降低了 61.1%。
