本文介绍了ServerlessLLM，一种用于大型语言模型的本地化服务器推理系统。ServerlessLLM通过加载优化检查点格式设计和多层检查点加载系统实现快速检查点加载，以及本地化的推理和实时迁移，有效实现本地化的服务器分配。实验结果表明，ServerlessLLM的延迟性能超过了现有技术系统10-200倍。

本文介绍了ServerlessLLM，一种用于大型语言模型的本地化服务器推理系统，通过优化检查点加载和推理实现高效性能，实验结果显示其延迟性能超过现有技术系统10-200倍。