.png)
The DigitalOcean Blog
·
LLM推理基准测试 - 测量重要指标
内容提要
生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。
关键要点
-
生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。
-
推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。
-
关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。
-
优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。
-
TTFT是用户提交提示到生成首个令牌之间的时间，直接影响用户体验。
-
TPOT衡量文本流动速度，受解码阶段的内存带宽限制。
-
ITL测量两个连续令牌之间的时间间隔，反映解码性能的抖动。
-
E2EL是用户请求的总时长，影响实时推理工作负载的性能。
-
TPS和RPS分别衡量每秒生成的令牌数和处理的用户请求数。
-
优化推理性能需要考虑延迟、吞吐量和并发性之间的复杂关系。
-
基准测试应持续进行，以识别和优化性能瓶颈。
-
微基准测试有助于隔离特定组件的性能问题。
-
大模型通常采用并行拓扑结构，如张量并行、流水线并行或专家并行。
-
基准测试集体和点对点性能是确保模型服务优化的关键。
-
随着推理规模的扩大，生产团队需识别额外的前沿，如质量-成本-精度三元组。
延伸解读
推理性能的关键指标
在LLM推理中，首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）是衡量性能的核心指标。TTFT直接影响用户体验，优化该指标需关注预填充阶段的计算效率。TPOT则反映解码阶段的内存带宽利用率，优化时需考虑硬件的内存特性。
硬件与软件的协同设计
生产级LLM推理需要硬件与软件的深度协同设计。不同GPU的性能差异（如FLOPs和内存带宽）会影响整体推理效率。因此，AI团队需不断调整软件以最大化硬件性能，确保在高成本环境中实现最佳的性价比。
基准测试的重要性
基准测试不仅是一次性的评估，而是一个持续的优化过程。通过微基准测试，团队可以识别特定组件的性能瓶颈，从而进行针对性优化。这种方法有助于在不同硬件代际间保持性能一致性，确保系统在不断变化的环境中依然高效运行。
延伸问答
LLM推理的两个主要阶段是什么？
LLM推理的两个主要阶段是预填充和解码。
什么是首次令牌时间（TTFT），它对用户体验有什么影响？
首次令牌时间（TTFT）是用户提交提示到生成首个令牌之间的时间，直接影响用户的等待体验。
如何优化LLM推理性能？
优化LLM推理性能需要在延迟、吞吐量与并发性之间取得平衡，并持续进行基准测试以识别性能瓶颈。
TPOT和ITL有什么区别？
TPOT是每输出令牌时间，衡量文本流动速度；而ITL是两个连续令牌之间的时间间隔，反映解码性能的抖动。
E2EL是什么，它在推理中有什么作用？
E2EL是用户请求的总时长，影响实时推理工作负载的性能，尤其在延迟敏感的应用中至关重要。
在LLM推理中，基准测试的目的是什么？
基准测试的目的是识别和优化性能瓶颈，确保模型服务的优化。
