LLM推理基准测试 - 测量重要指标

生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。

推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。

关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。

优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。

TTFT是用户提交提示到生成首个令牌之间的时间，直接影响用户体验。

TPOT衡量文本流动速度，受解码阶段的内存带宽限制。

ITL测量两个连续令牌之间的时间间隔，反映解码性能的抖动。

E2EL是用户请求的总时长，影响实时推理工作负载的性能。

TPS和RPS分别衡量每秒生成的令牌数和处理的用户请求数。

优化推理性能需要考虑延迟、吞吐量和并发性之间的复杂关系。

基准测试应持续进行，以识别和优化性能瓶颈。

微基准测试有助于隔离特定组件的性能问题。

大模型通常采用并行拓扑结构，如张量并行、流水线并行或专家并行。

基准测试集体和点对点性能是确保模型服务优化的关键。

随着推理规模的扩大，生产团队需识别额外的前沿，如质量-成本-精度三元组。