The DigitalOcean Blog
·
迎接高性能、低成本推理的新标准：NVIDIA Dynamo 1.0现已向DigitalOcean客户开放
内容提要
NVIDIA Dynamo 1.0在GTC发布，现已为DigitalOcean客户提供，推理性能提升7倍，成本降低。结合DigitalOcean的Agentic Inference Cloud，客户可高效部署，优化推理工作负载，支持GPU集群，提升吞吐量和降低延迟。
关键要点
-
NVIDIA Dynamo 1.0在GTC发布，现已为DigitalOcean客户提供。
-
推理性能提升7倍，成本降低。
-
结合DigitalOcean的Agentic Inference Cloud，客户可高效部署，优化推理工作负载。
-
支持GPU集群，提升吞吐量和降低延迟。
-
Dynamo是一个高性能推理服务框架，专为加速和优化大规模生成AI和推理模型而设计。
-
Dynamo的关键技术突破包括：7倍性能提升、KV感知路由、分离服务和内存卸载。
-
DigitalOcean通过Dynamo优化推理工作负载，提高吞吐量和降低延迟。
-
Workato使用Dynamo在DigitalOcean上实现了67%的吞吐量提升和79%的延迟降低。
-
未来将推出更多产品更新以增强DigitalOcean的Agentic Inference Cloud能力。
延伸问答
NVIDIA Dynamo 1.0的主要功能是什么？
NVIDIA Dynamo 1.0是一个高性能推理服务框架，旨在加速和优化大规模生成AI和推理模型。
Dynamo 1.0如何提高推理性能？
Dynamo 1.0通过KV感知路由、分离服务和内存卸载等技术，实现了最高7倍的推理性能提升。
DigitalOcean客户如何使用Dynamo 1.0？
DigitalOcean客户可以将Dynamo 1.0作为容器镜像运行在Droplet上，或直接在DigitalOcean Kubernetes上部署推理运行时。
使用Dynamo 1.0的客户有哪些具体收益？
例如，Workato使用Dynamo在DigitalOcean上实现了67%的吞吐量提升和79%的延迟降低。
Dynamo 1.0与DigitalOcean的Agentic Inference Cloud有什么关系？
Dynamo 1.0与DigitalOcean的Agentic Inference Cloud结合，客户可以高效部署并优化推理工作负载。
未来Dynamo 1.0会有哪些更新？
未来将推出更多产品更新，以增强DigitalOcean的Agentic Inference Cloud能力，包括新的AI-first数据中心和支持更多高性能模型。
