本研究提出了一种名为SpecPrefill的无训练框架,通过轻量级模型预测重要令牌,显著提高大型语言模型的首次令牌时间(TTFT)。结果表明,SpecPrefill在多种任务中可将最大端到端QPS提升7倍,TTFT改进达到7.66倍。
完成下面两步后,将自动完成登录并继续当前操作。