Cloud Native Computing Foundation
·
Kubernetes WG Serving 在成功推进 AI 推理支持后宣布解散
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
Kubernetes WG Serving 组已解散，专注于支持Kubernetes上的AI推理工作。该组收集了模型服务器和硬件提供商的需求，推动了负载均衡和工作负载的演变。未解决的问题已转交给llm-d项目，继续推进推理需求。感谢所有参与者的贡献。
🎯
关键要点
- Kubernetes WG Serving 组已解散，专注于支持Kubernetes上的AI推理工作。
- 该组收集了模型服务器、硬件提供商和推理供应商的需求，推动了负载均衡和工作负载的演变。
- 未解决的问题已转交给llm-d项目，继续推进推理需求。
- llm-d项目旨在提供实现先进推理的清晰路径，并为现有推理用户平台提供建议。
- AIBrix提供了一个完整的平台解决方案，用于成本高效的LLM推理。
- WG Serving帮助制定Kubernetes AI一致性要求，所有当前在WG Serving内的工作可以迁移到其他工作组或直接到SIGs。
- 与自动扩展相关的问题将讨论在SIG Node或SIG Scheduling中。
- 多主机、多节点工作可以作为SIG Apps的一部分继续进行。
- Gateway API推理扩展项目已由SIG Network赞助，并将继续留在那里。
- 感谢所有参与WG Serving的贡献者，推动Kubernetes作为AI推理工作负载的平台。
➡️
