Speculative Prefill: Accelerating TTFT with Lightweight and Training-Free Token Importance Estimation
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种名为SpecPrefill的无训练框架，通过轻量级模型预测重要令牌，显著提高大型语言模型的首次令牌时间（TTFT）。结果表明，SpecPrefill在多种任务中可将最大端到端QPS提升7倍，TTFT改进达到7.66倍。
🏷️
