IBM、Red Hat和Google Cloud在2026年KubeCon欧洲大会上宣布将开源推理框架llm-d捐赠给云原生计算基金会（CNCF）。llm-d旨在通过Kubernetes简化大语言模型的推理，支持多种加速器，提高效率并降低成本。该框架提供可重复的基准测试和兼容性，推动AI推理成为云原生基础设施的重要组成部分。

llm-d项目已被纳入云原生计算基金会（CNCF）沙箱，旨在推动Kubernetes及AI基础设施的发展。该项目由Red Hat、Google、IBM等公司合作创建，目标是实现硬件无关的最先进推理性能。llm-d提供了一个Kubernetes原生的分布式推理框架，解决了传统服务路由和自动扩展的不足，确保高效的AI服务，并致力于建立开放的基准测试标准。