本研究提出了XY-Serve系统，针对生产级大语言模型服务系统中的动态性问题，通过混合预填充/解码/验证调度机制，显著提高了AI加速器上的效率，端到端吞吐量提升高达89%。

Tackling the Dynamicity in Production Large Language Model Serving Systems via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证