vLLM TPU：支持PyTorch和JAX的新统一后端

vLLM Blog ·

vLLM TPU通过tpu-inference插件整合JAX和PyTorch，显著提升性能和模型支持。新设计优化了TPU性能，支持多种模型，简化开发流程。RPA v3内核增强灵活性和效率，SPMD模型提升性能，整体性能较2025年原型提升近5倍，推动开源TPU推理的发展。

JAX PyTorch tpu vLLM TPU vllm 后端开源推理性能提升

原文英文，约2100词，阅读约需8分钟。