vLLM Blog
·
vLLM现已支持gpt-oss
内容提要
vLLM现已支持gpt-oss模型，兼容多款NVIDIA和AMD GPU。gpt-oss采用稀疏MoE架构，使用MXFP4格式减小模型大小，便于在单个GPU上运行。vLLM集成优化的GPU内核，提升性能和效率，并支持内置工具如网页浏览和Python解释器。未来将继续优化gpt-oss，提升性能和用户体验。
关键要点
-
vLLM现在支持gpt-oss模型，兼容NVIDIA和AMD多款GPU。
-
gpt-oss采用稀疏MoE架构，使用MXFP4格式减小模型大小，便于在单个GPU上运行。
-
MXFP4格式通过将每个权重表示为4位浮点数，显著降低了模型的大小。
-
vLLM集成了优化的GPU内核，以提升性能和效率，支持Blackwell和Hopper架构的GPU。
-
gpt-oss具有高效的注意力设计，结合了全注意力和滑动窗口注意力。
-
内置工具支持包括网页浏览和Python代码解释器，模型可以自主决定何时调用这些工具。
-
vLLM的未来计划包括进一步优化gpt-oss的性能和用户体验。
延伸解读
gpt-oss的架构优势
gpt-oss采用稀疏MoE架构和MXFP4格式，显著降低了模型大小，使其能够在单个GPU上运行。这种设计不仅提高了运行效率，还使得在资源有限的环境中使用大型模型成为可能。用户在选择模型时，可以考虑其架构对性能和资源的影响。
内置工具的实用性
gpt-oss集成了网页浏览和Python解释器等内置工具，能够自主决定何时调用这些工具。这种灵活性使得模型在处理复杂任务时更加高效，用户可以利用这些功能来扩展模型的应用场景，提升工作效率。
未来优化方向
vLLM团队计划继续优化gpt-oss的性能和用户体验，包括增强注意力机制和减少CPU开销。这些改进将进一步提升模型的响应速度和处理能力，用户在使用时应关注这些更新，以便充分利用新功能。
延伸问答
vLLM支持哪些GPU？
vLLM支持NVIDIA Blackwell和Hopper GPU，以及AMD MI300x和MI355x GPU。
gpt-oss模型的架构特点是什么？
gpt-oss采用稀疏MoE架构，使用MXFP4格式减小模型大小，便于在单个GPU上运行。
MXFP4格式如何影响模型大小？
MXFP4格式通过将每个权重表示为4位浮点数，显著降低了模型的大小，使得120B模型为63GB，20B模型为14GB。
vLLM如何提升gpt-oss的性能？
vLLM集成了优化的GPU内核，支持Blackwell和Hopper架构的GPU，以提升性能和效率。
gpt-oss支持哪些内置工具？
gpt-oss支持网页浏览和Python代码解释器等内置工具，模型可以自主决定何时调用这些工具。
vLLM未来的优化计划是什么？
vLLM未来计划包括进一步优化gpt-oss的性能和用户体验，硬化Responses API等。
