推测解码利用小型草稿模型生成候选token，再由大模型并行验证，借助GPU空闲算力实现2-3倍加速且不损失输出质量。其效果取决于接受率，结构化任务中接受率高，创意写作中较低，高并发时收益下降。草稿来源包括小模型、预测头、量化版本或文本搜索，需根据部署场景选择。

本文介绍了推测解码的工作原理及其在大型语言模型推理中的应用。推测解码通过小型草稿模型生成多个候选标记，并利用大型目标模型并行验证，从而显著提高推理速度，达到2-3倍的加速效果。该方法有效解决了内存带宽瓶颈问题，适用于翻译、摘要等任务。选择合适的草稿模型是实现最佳效果的关键。

Speculative decoding是一种优化技术，通过小型草稿模型加速大型LLM的推理。Speculators v0.3.0支持Eagle3草稿模型的端到端训练，简化训练流程并提升生成速度，特别适用于低吞吐量场景，减少模型延迟，提高性能。

投机采样是一种加速大语言模型推理的方法，利用小模型（草稿模型）和大模型（目标模型）实现高效输出。该方法通过在明显序列上保持一致性，允许目标模型一次输出多个token，并修改了拒绝采样公式，结合标准采样方法，提高了接受率，且可与量化和多查询注意力等技术结合使用。