Cloud Native Computing Foundation
·
模型之下的平台：云原生如何推动生产中的AI工程
内容提要
AI工作负载在Kubernetes上运行，但从模型到可靠系统的转变仍不明确。云原生生态系统为AI工程提供了基础设施支持，包括动态资源分配、推理路由和可观察性。AI工程师与云原生从业者需共同努力，推动AI基础设施的开源和社区发展。
关键要点
-
AI工作负载越来越多地在Kubernetes上运行，但从模型到可靠系统的转变仍不明确。
-
云原生生态系统为AI工程提供基础设施支持，包括动态资源分配、推理路由和可观察性。
-
AI工程师与云原生从业者需共同努力，推动AI基础设施的开源和社区发展。
-
Kubernetes是AI推理和训练的编排层，动态资源分配（DRA）是其重要发展。
-
推理网关提供基于模型名称的推理流量路由，支持多个GenAI工作负载。
-
OpenTelemetry和Prometheus是AI工作负载可观察性的关键工具。
-
Kubeflow为机器学习团队提供管道编排、实验跟踪和模型服务组件。
-
开放策略代理（OPA）和SPIFFE/SPIRE提供生产AI部署所需的治理原语。
-
AI从业者与云原生从业者之间存在真实的差距，双方需共同缩小这一差距。
-
开源和供应商中立的治理为AI基础设施提供了组合性、可移植性和社区驱动的演变。
-
云原生生态系统越来越适合支持生产中的AI系统，未来的工作在于这两个社区的交集。
延伸问答
云原生生态系统如何支持AI工程？
云原生生态系统提供动态资源分配、推理路由和可观察性等基础设施支持，帮助AI工程师构建可靠的生产系统。
Kubernetes在AI工作负载中扮演什么角色？
Kubernetes是AI推理和训练的编排层，支持动态资源分配和推理流量路由。
AI工程师与云原生从业者之间存在哪些差距？
AI工程师通常来自数据科学背景，而云原生从业者可能对AI工作负载的架构感到陌生，双方需共同努力缩小这一差距。
动态资源分配（DRA）在Kubernetes中的重要性是什么？
DRA通过细粒度的GPU调度，提升了资源管理的效率，解决了设备插件的局限性。
如何提高AI工作负载的可观察性？
使用OpenTelemetry和Prometheus等工具，可以监控新的AI指标，如每秒令牌数和队列深度，确保与传统基础设施指标的兼容性。
开源治理对AI基础设施有什么影响？
开源治理提供组合性、可移植性和社区驱动的演变，促进AI基础设施的快速适应和发展。
