什么是 PD 分离
内容提要
LLM推理过程分为Prefill阶段和Decode阶段，Prefill阶段计算密集，Decode阶段生成token。评估指标为TTFT和TPOT，要求90%的请求的TTFT和TPOT值都小于等于0.4s和0.04s。PD分离优化了TTFT和TPOT指标，Prefill阶段限制Batch Size，Decode阶段增大Batch Size。
延伸解读
PD分离为何能同时优化TTFT和TPOT
文章指出，在长上下文场景下，Prefill和Decode对计算与显存的需求极不平衡。PD分离将两个阶段部署到不同硬件：Prefill用高算力GPU，Decode用低算力大显存GPU。这样分开优化，能同时提升TTFT和TPOT指标，避免单一部署下两者相互制约。
Batch Size策略：Prefill限制，Decode增大
根据文章，Prefill阶段计算密集，随Batch Size增加，算力受限导致吞吐量增长趋于平缓，因此应限制Batch Size。Decode阶段是带宽和内存密集，随Batch Size增加，吞吐量增长越来越显著，因此应增大Batch Size。这一差异是PD分离后需要分别调优的关键点。
从SLO看PD分离的实际约束
文章给出了明确的P90 SLO：90%的请求TTFT不超过0.4秒，TPOT不超过0.04秒。这意味着系统必须在绝大多数请求上满足首token延迟和每token延迟要求。PD分离通过针对性优化这两个指标，帮助系统在长上下文下更稳定地达到SLO，而非仅追求平均性能。
Q&A
PD分离在LLM推理中有什么作用？
PD分离优化了TTFT和TPOT指标，充分利用设备资源，提升了推理效率。
LLM推理的Prefill和Decode阶段有什么区别？
Prefill阶段计算密集，处理用户输入并计算KV Cache；Decode阶段显存密集，顺序生成token。
什么是TTFT和TPOT，它们的评估标准是什么？
TTFT是生成第一个token的时间，P90 TTFT SLO要求90%的请求TTFT值<=0.4s；TPOT是每个响应token的时间，P90 TPOT SLO要求<=0.04s。
在Prefill阶段和Decode阶段，Batch Size的策略是什么？
Prefill阶段应限制Batch Size，Decode阶段应增大Batch Size，以优化性能。
PD分离如何提升LLM的推理性能？
通过分开优化Prefill和Decode阶段，分别使用高算力和低算力大显存的GPU，提升TTFT和TPOT。
为什么Prefill阶段的吞吐量增长趋于平缓？
因为Prefill阶段是计算密集型，随着Batch Size增加，算力受限，导致吞吐量增长趋于平缓。
