ALISE: Accelerating Large Language Model Services through Predictive Scheduling

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了ALISE框架,旨在解决大语言模型服务系统中的调度问题,通过优化作业优先级来减少排队延迟。实验结果表明,在相同延迟下,ALISE显著提高了推理服务的吞吐量。

🏷️

标签

➡️

继续阅读