SpotServe: 在可中途终止的实例上为生成式大型语言模型提供服务

该研究介绍了一个分散系统，利用具有隐私保护功能的消费级GPU在大型语言模型的预训练、推理和微调中发挥重要作用。通过备用资源池、任务调度、抽象化机器学习过程和中间表示等方法，性能分析显示，50个RTX 3080 GPUs的吞吐量可与4个昂贵的H100 GPUs相媲美。