【大模型基础设施工程】11：推理引擎基础
内容提要
本文探讨了大模型推理的工程差异，强调训练与推理的不同需求。推理分为Prefill和Decode两个阶段，前者关注计算吞吐，后者关注延迟。KV Cache的使用显著提高了推理效率，减少了计算复杂度。文章还介绍了Continuous Batching和Prefill/Decode分离的优势，强调了高并发场景下的显存管理和性能优化策略。
关键要点
-
训练与推理的工程差异显著，训练是离线任务，推理是在线服务。
-
推理分为Prefill和Decode两个阶段，前者关注计算吞吐，后者关注延迟。
-
KV Cache的使用显著提高了推理效率，降低了计算复杂度。
-
Continuous Batching和Prefill/Decode分离有助于优化高并发场景下的显存管理。
-
推理的SLO模型包括TTFT、TPOT和可用性等关键指标。
-
KV Cache的大小和管理对推理性能有重要影响，尤其是在长上下文和高并发场景中。
-
不同的推理引擎在处理Prefill和Decode时有不同的优化策略。
-
Chunked Prefill可以有效减少长请求对Decode的阻塞影响。
-
Prefix Caching可以显著提高多轮对话和系统提示的推理效率。
-
采样策略对生成质量和工程实现有重要影响，需根据具体场景进行调整。
延伸问答
推理与训练的主要区别是什么？
推理是在线服务，关注延迟和实时响应；训练是离线任务，关注吞吐量和计算效率。
KV Cache在推理中有什么作用？
KV Cache显著提高了推理效率，减少了计算复杂度，允许在生成新token时重用历史计算结果。
Prefill和Decode阶段的主要区别是什么？
Prefill阶段一次性计算并填充KV Cache，关注计算吞吐；Decode阶段逐token生成，关注延迟。
Continuous Batching有什么优势？
Continuous Batching可以将多个请求的Decode合并成一个大batch，提高GPU利用率，减少延迟。
推理的SLO模型包含哪些关键指标？
推理的SLO模型包括TTFT、TPOT和可用性等关键指标，直接影响引擎的调参。
Chunked Prefill的作用是什么？
Chunked Prefill可以有效减少长请求对Decode的阻塞影响，提高整体推理效率。
