AWS Lambda于2014年推出，旨在简化短期计算任务的管理，支持无服务器计算，自动分配资源，使开发者专注于代码而非基础设施。Lambda不断扩展语言支持，并推出容器化和冷启动优化功能，提升开发效率和成本效益。

本文分享了2023年构建无服务器LLM推理平台ModelZ的经验，重点介绍了其架构设计、冷启动优化（包括模型缓存与镜像加载）、自动扩缩容及负载均衡策略。通过Kubernetes部署，利用缓存加速模型下载，采用GCP镜像流技术，并预留GPU节点池以减少扩容延迟。文章还探讨了kvcache对负载均衡带来的新挑战，为社区提供了实践参考。