本文介绍评估大模型推理性能的九项关键指标：单请求延迟包括首令牌时间（TTFT）、端到端延迟、令牌生成时间、每输出令牌时间（TPOT）和令牌间延迟（ITL）；跨请求延迟用均值、中位数和P99等尾部百分位衡量；服务器负载用每秒请求数（RPS）和每秒令牌数（TPS）；服务质量用goodput，即满足延迟SLO的成功请求速率。文章给出各指标公式，并提醒比较工具时需确认定义，百分位应基于原始样本合并计算。
DISCO是一种动态调整推断长度的方法，能够提高推理速度和质量。研究提出了自适应推测解码策略和Speculative Streaming方法，显著提升了大型语言模型的解码效率。SpecDec++通过自适应候选长度实现了更快的推理，实验结果显示加速效果显著。
完成下面两步后，将自动完成登录并继续当前操作。
