本研究提出了一种硬件无关的控制循环，旨在满足生成性AI工作负载的可扩展推断需求。该系统能够根据实时成本和容量信号，在异构加速器之间自适应分配请求，动态切换优化模式，以有效利用计算资源，确保低延迟和高吞吐量。

Adaptive Scheduling for Large-Scale Inference on Heterogeneous Accelerator Systems: Balancing Cost, Performance, and Resilience
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证