NVIDIA Dynamo 解决多节点大语言模型推理挑战

InfoQ · 2025-12-04T13:00:00Z

Dynamo是一个开源框架，旨在高效管理大语言模型（LLM）的分布式推理。它将推理过程分为预填充和解码阶段，动态调配GPU资源，以应对需求波动，支持多种推理引擎，并能在Kubernetes上运行高性能AI工作负载，优化资源使用，降低延迟。