vLLM TPU通过tpu-inference插件整合JAX和PyTorch,显著提升性能和模型支持。新设计优化了TPU性能,支持多种模型,简化开发流程。RPA v3内核增强灵活性和效率,SPMD模型提升性能,整体性能较2025年原型提升近5倍,推动开源TPU推理的发展。
完成下面两步后,将自动完成登录并继续当前操作。