本研究提出了名为Chiron的自适应扩展器，旨在优化云服务中大型语言模型的自适应扩展，特别是服务水平目标（SLO）。Chiron通过排队大小、利用率和SLO的层次反压估计，显著提高了SLO达成率90%和GPU效率70%。

Hierarchical Autoscaling for Large Language Model Serving Based on Chiron
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证