BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z AdaServe：具有细粒度推测解码的SLO定制化大语言模型服务 💡 原文中文，约500字，阅读约需1分钟。 📝 内容提要 AdaServe是首个通过细粒度推测解码实现SLO定制化的大语言模型服务系统，实验结果显示其SLO达成率和有效吞吐量分别提高了73%和74%。 🏷️ 标签 AdaServe SLO 吞吐量 大语言模型 推测解码 阅读原文 生成长图 分享链接 已复制链接
