KServe是一个在Kubernetes上的推理平台，专为高度可扩展的场景而构建。它支持现代Serverless推理工作负载，可以在任意框架上提供机器学习模型服务。KServe提供高性能、高度抽象的接口，支持常见的ML框架，并封装了自动缩放、网络、健康检查和服务配置的复杂性。KServe考虑使用Fluid来提供弹性支持，Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，可以服务于云原生场景下的数据密集型应用。阿里云容器服务团队和KServe、Fluid社区一起探索在阿里云Serverless Kubernetes平台上支持大型语言模型的简单、方便、高性能、生产级别的部署。他们提供了一些实践步骤，包括开启KServe on ASM功能、安装ACK-Fluid并开启AI模型缓存加速、部署AI模型推理服务等。最后，他们进行了性能基准测试，发现Fluid可以大幅提升KServe的冷启动速度，特别是在大型语言模型的场景下。