贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM
内容提要
Meta开源了最新的405B模型（Llama 3.1 405B）和SGLang Runtime v0.2，提高模型推理速度。SGLang在运行Llama 3.1 405B时表现优于vLLM和TensorRT-LLM，吞吐量达到TensorRT-LLM的2.1倍，vLLM的3.8倍。SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架，完全开源，由纯Python编写。它在离线和在线场景下都能提供卓越的性能。
关键要点
-
Meta开源了最新的405B模型（Llama 3.1 405B），提升了开源模型的性能。
-
LMSYS Org推出了SGLang Runtime v0.2，作为LLM和VLM的通用服务引擎。
-
SGLang在运行Llama 3.1 405B时的吞吐量优于vLLM和TensorRT-LLM，分别达到2.1倍和3.8倍。
-
SGLang是一个完全开源的快速服务框架，由纯Python编写，适用于在线和离线场景。
-
SGLang的开发团队由多所大学的学生和教职员工组成，致力于提升人工智能产品的服务效率。
-
SGLang的设计旨在提供用户友好、易于修改且性能卓越的服务引擎。
-
SGLang在处理不同规模的Llama模型时，性能始终优于vLLM，并与TensorRT-LLM相当。
-
SGLang采用Apache 2.0许可授权，已被多个机构和初创公司使用。
-
研究者对SGLang、TensorRT-LLM和vLLM进行了基准测试，结果显示SGLang在性能和可用性上具有优势。
-
未来，SGLang将开发长上下文和MoE优化等新功能。
延伸问答
SGLang Runtime v0.2的主要优势是什么？
SGLang Runtime v0.2在运行Llama 3.1 405B时的吞吐量优于vLLM和TensorRT-LLM，分别达到2.1倍和3.8倍。
SGLang是如何提高模型推理速度的？
SGLang通过优化服务框架和高效的批处理调度器来提高模型推理速度。
SGLang的开发团队由谁组成？
SGLang的开发团队由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学的学生与教职员工组成。
SGLang的开源许可是什么？
SGLang采用Apache 2.0许可授权。
SGLang与其他服务引擎相比有什么优势？
SGLang在可用性和可定制性方面优于TensorRT-LLM和vLLM，且性能表现也相当出色。
如何安装和使用SGLang？
可以通过pip、源代码或Docker安装SGLang，并使用OpenAI兼容的API发送请求。
