Cloud Native Computing Foundation
·
欢迎 llm-d 加入 CNCF：将 Kubernetes 发展为先进的 AI 基础设施
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
llm-d旨在通过模型和状态感知路由策略，在任何加速器上实现先进的推理性能，最大化资源利用并提升推理指标。该项目提供标准化基准，确保高性能AI服务的可用性，并在多租户SaaS场景中显著节省计算资源。
🎯
关键要点
- llm-d旨在通过模型和状态感知路由策略，在任何加速器上实现先进的推理性能。
- 该项目最大化资源利用并提升推理指标，如首次令牌时间（TTFT）、每输出令牌时间（TPOT）、令牌吞吐量和KV缓存利用率。
- llm-d确保高性能AI服务在不同加速器（如NVIDIA、AMD或Google）上的可用性。
- 项目提供标准化基准，以证明优化的价值，解决AI行业缺乏标准可重复的推理性能测量的问题。
- llm-d旨在成为定义和运行推理基准的中立标准，通过严格的开放基准测试实现。
- 在多租户SaaS场景中，共享客户上下文通过前缀缓存显著节省计算资源。
- llm-d的推理调度在最新的v0.5版本中保持近零延迟和大规模吞吐量。
➡️
