Kaito是一家金融科技公司，利用RisingWave的流数据仓库为加密货币交易者提供实时数据，帮助识别趋势和风险。通过结合实时流处理和大型语言模型，Kaito提升了数据访问效率，满足3亿用户需求，RisingWave的解决方案简化了数据处理，降低了延迟，支持Kaito在加密领域的创新。

KAITO与KubeFleet推动AI推理基础设施的标准化，解决多集群智能调度与部署问题，提升全球化、高可用性和成本优化能力，标志着云原生社区进入AI推理基础设施标准化阶段。

AI推理正迅速成为云原生基础设施的新前沿。CNCF于2025年10月推出KAITO和KubeFleet项目，旨在解决多集群推理架构中的一致性、资源稀缺和服务可靠性等问题，标志着云原生社区进入标准化AI推理基础设施阶段。

近年来，随着大型语言模型（LLMs）的快速发展，AI推理变得资源密集。Kubernetes成为部署推理服务的首选平台，支持多集群推理以满足全球扩展和成本控制的需求。KAITO和KubeFleet是解决多集群推理复杂性的关键工具，确保模型一致性和优化工作负载分配。

本文介绍了三个开源项目：KitOps、Cog和KAITO，旨在简化MLOps工作流程。KitOps标准化AI项目的组织与存储，Cog提供本地测试环境，KAITO自动化模型推理服务的部署。这些工具消除了传统MLOps的瓶颈，提高了效率，便于管理和部署AI项目。

生成式人工智能（AI）正在蓬勃发展，各行各业和创新者都在寻找改变数字体验的方法。开源语言模型是一种经济高效的尝试AI的方式，而Kubernetes则是最适合扩展和自动化AI/ML应用的开源平台。微软的KAITO项目是一个在Kubernetes集群中自动部署大型AI模型的开源工具，它简化了部署、扩展和管理AI工作负载的繁琐细节。KAITO支持多种开源模型和容器化模型，并提供了精细调整、适配器和更广泛的模型范围的支持。