本文介绍8个LLM推理框架：vLLM通过PagedAttention与连续批处理实现高吞吐；SGLang擅长结构化与多步提示；MAX支持CPU/GPU及内核级调优；TensorRT-LLM在NVIDIA硬件上速度最快；LMDeploy专注量化与并发；llama.cpp轻量可移植；Ollama适合本地实验；MLC-LLM支持多平台边缘部署。选型应结合流量、硬件与部署目标，并在自有模型上实测延迟与成本。