本文介绍了推测解码的工作原理及其在大型语言模型推理中的应用。推测解码通过小型草稿模型生成多个候选标记，并利用大型目标模型并行验证，从而显著提高推理速度，达到2-3倍的加速效果。该方法有效解决了内存带宽瓶颈问题，适用于翻译、摘要等任务。选择合适的草稿模型是实现最佳效果的关键。

Speculative decoding是一种优化技术，通过小型草稿模型加速大型LLM的推理。Speculators v0.3.0支持Eagle3草稿模型的端到端训练，简化训练流程并提升生成速度，特别适用于低吞吐量场景，减少模型延迟，提高性能。

投机采样是一种加速大语言模型推理的方法，利用小模型（草稿模型）和大模型（目标模型）实现高效输出。该方法通过在明显序列上保持一致性，允许目标模型一次输出多个token，并修改了拒绝采样公式，结合标准采样方法，提高了接受率，且可与量化和多查询注意力等技术结合使用。