.png)
The DigitalOcean Blog
·
LLM推理基准测试 - 测量重要指标
💡
原文英文，约2900词，阅读约需11分钟。
📝
内容提要
生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。
🎯
关键要点
- 生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。
- 推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。
- 关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。
- 优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。
- TTFT是用户提交提示到生成首个令牌之间的时间，直接影响用户体验。
- TPOT衡量文本流动速度，受解码阶段的内存带宽限制。
- ITL测量两个连续令牌之间的时间间隔，反映解码性能的抖动。
- E2EL是用户请求的总时长，影响实时推理工作负载的性能。
- TPS和RPS分别衡量每秒生成的令牌数和处理的用户请求数。
- 优化推理性能需要考虑延迟、吞吐量和并发性之间的复杂关系。
- 基准测试应持续进行，以识别和优化性能瓶颈。
- 微基准测试有助于隔离特定组件的性能问题。
- 大模型通常采用并行拓扑结构，如张量并行、流水线并行或专家并行。
- 基准测试集体和点对点性能是确保模型服务优化的关键。
- 随着推理规模的扩大，生产团队需识别额外的前沿，如质量-成本-精度三元组。
➡️
