The DigitalOcean Blog
·
DigitalOcean的Agentic推理云如何通过NVIDIA GPU为Workato实现67%的推理成本降低
内容提要
Workato的AI研究实验室与DigitalOcean合作，利用NVIDIA Dynamo和vLLM优化推理性能。通过引入KV感知路由，显著提高了GPU的吞吐量和响应速度，分别提升67%和降低79%的延迟，从而降低了推理成本和所需GPU数量。
关键要点
-
Workato的AI研究实验室与DigitalOcean合作，优化推理性能。
-
通过引入KV感知路由，GPU的吞吐量提高了67%，延迟降低了79%。
-
NVIDIA H200 GPU被选中以支持100K-token上下文长度，单个GPU能够容纳整个工作负载。
-
KV感知路由技术减少了冗余计算，提高了推理效率。
-
NVIDIA Dynamo作为低延迟的模块化推理框架，优化了GPU的使用效率。
-
通过协调路由和缓存管理，Workato显著降低了推理成本和所需GPU数量。
延伸解读
推理成本降低的实用意义
Workato通过与DigitalOcean合作，利用NVIDIA的技术实现了67%的推理成本降低。这意味着企业在处理大规模自动化工作负载时，可以显著节省资源和成本，尤其是在高并发场景下，优化的推理架构能够有效提升效率，减少对GPU的需求。
KV感知路由的优势
KV感知路由技术通过减少冗余计算，提升了GPU的利用率。这种方法特别适用于共享相同输入前缀的请求，能够显著降低延迟和提高吞吐量。企业在选择推理架构时，应关注此类技术的应用，以实现更高的性能和成本效益。
架构复杂性与管理挑战
尽管NVIDIA Dynamo提供了强大的路由和调度能力，但其部署和管理的复杂性也不容忽视。企业在实施此类系统时，需要具备相应的技术能力，以确保各个组件之间的协调和高效运行，避免因管理不当导致的性能下降。
延伸问答
DigitalOcean的Agentic推理云如何帮助Workato降低推理成本？
通过引入KV感知路由，DigitalOcean的Agentic推理云使Workato的推理吞吐量提高了67%，延迟降低了79%，从而显著降低了推理成本和所需GPU数量。
NVIDIA Dynamo在推理性能优化中起到了什么作用？
NVIDIA Dynamo作为低延迟的模块化推理框架，通过KV感知路由技术减少冗余计算，提高了推理效率。
KV感知路由技术是如何工作的？
KV感知路由技术利用输入前缀的共享性，将相似的请求路由到同一GPU，从而避免重复计算，提升推理效率。
使用NVIDIA H200 GPU的优势是什么？
NVIDIA H200 GPU具有141GB的HBM3e内存容量，能够支持100K-token的上下文长度，适合处理大型工作负载。
Workato在推理性能测试中取得了哪些具体成果？
Workato在推理性能测试中实现了67%的GPU吞吐量提升，79%的延迟降低，以及33%的硬件成本降低。
如何通过架构优化提高推理效率？
通过协调路由、缓存管理和GPU拓扑，结合Kubernetes的调度，能够显著提高推理效率，减少冗余计算。
