本文介绍了ServerlessLLM，一种用于大型语言模型的本地化服务器推理系统。ServerlessLLM通过加载优化检查点格式设计和多层检查点加载系统实现快速检查点加载，以及本地化的推理和实时迁移，有效实现本地化的服务器分配。实验结果表明，ServerlessLLM的延迟性能超过了现有技术系统10-200倍。