贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM
内容提要
Meta开源了最新的405B模型（Llama 3.1 405B）和SGLang Runtime v0.2，提高模型推理速度。SGLang在运行Llama 3.1 405B时表现优于vLLM和TensorRT-LLM，吞吐量达到TensorRT-LLM的2.1倍，vLLM的3.8倍。SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架，完全开源，由纯Python编写。它在离线和在线场景下都能提供卓越的性能。
延伸解读
性能优势的适用条件
SGLang 在运行 Llama 3.1 405B 时吞吐量达到 TensorRT-LLM 的 2.1 倍、vLLM 的 3.8 倍，但这一结果基于特定基准设置：关闭前缀缓存和推测解码，使用合成数据集，并在 8 个 H100 上以 FP8 精度运行。实际部署中，若开启这些优化或使用不同硬件，性能差距可能变化。读者应结合自身场景评估。
与 TensorRT-LLM 的对比：性能与易用性
SGLang 和 TensorRT-LLM 在性能上各有胜负，但在可用性和可定制性上差异明显。SGLang 由纯 Python 编写，核心调度器不到 4K 行代码，易于修改和扩展；TensorRT-LLM 基于复杂 C++ 技术栈，设置繁琐且仅部分开源。对于需要快速迭代或定制化服务的团队，SGLang 可能更友好。
实际部署的注意事项
文章提供了 SGLang 的安装和使用步骤，支持 OpenAI 兼容 API，便于集成。但基准测试中 vLLM 0.5.3.post1 在高负载下崩溃，因此结果基于 vLLM 0.5.2。此外，405B 模型基准使用了虚拟权重，且 TensorRT-LLM 因未集成最新优化而表现不佳。生产环境部署前，建议在真实数据和硬件上验证。
未来优化方向
SGLang 团队表示未来将开发长上下文和 MoE 优化等新功能。这表明当前版本可能在这些场景下尚未充分优化。对于需要处理超长上下文或混合专家模型的用户，可以关注后续更新。同时，SGLang 采用 Apache 2.0 许可，已被 Databricks 等机构使用，社区生态正在成长。
Q&A
SGLang Runtime v0.2的主要优势是什么？
SGLang Runtime v0.2在运行Llama 3.1 405B时的吞吐量优于vLLM和TensorRT-LLM，分别达到2.1倍和3.8倍。
SGLang是如何提高模型推理速度的？
SGLang通过优化服务框架和高效的批处理调度器来提高模型推理速度。
SGLang的开发团队由谁组成？
SGLang的开发团队由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学的学生与教职员工组成。
SGLang的开源许可是什么？
SGLang采用Apache 2.0许可授权。
SGLang与其他服务引擎相比有什么优势？
SGLang在可用性和可定制性方面优于TensorRT-LLM和vLLM，且性能表现也相当出色。
如何安装和使用SGLang？
可以通过pip、源代码或Docker安装SGLang，并使用OpenAI兼容的API发送请求。
