大语言模型推理工程旨在降低延迟、提升吞吐、减少内存。本文推荐5个实践项目：从零构建迷你vLLM、用Triton编写FlashAttention内核、搭建量化实验、实现投机解码、构建生产级推理服务，帮助深入理解KV缓存、连续批处理、量化等优化技术。

DSpark是一种投机解码技术，通过并行草稿与轻量级顺序组件结合，提升LLM生成速度。在llama.cpp中测试Qwen3-8B，启用DSpark后生成速度从95.0提升至124.9 tokens/s，约31.5%加速。尽管MTP更通用，DSpark在草稿质量上占优，但模型支持有限，适合实验。

文章讨论了PD分离与引擎功能的适配，介绍了投机解码及其在大型自回归模型中的应用。通过引入小模型进行多次自回归，提升推理效率。探讨了Eagle 3的实现细节及其对推理性能的影响，得出礼貌性输入不影响推理性能的结论。

本研究提出了一种新的动态草稿长度策略SVIP，旨在解决投机解码中固定草稿长度的问题。SVIP根据草稿词元分布的熵自适应调整草稿长度，实验结果表明其在主要基准测试中可实现最高20%的加速效果。

本文介绍了一种通过知识蒸馏和投机解码技术（DistillSpec）加速大型语言模型推理的方法。该方法在多项基准测试中实现了10-45%的加速，并有效降低了解码延迟。结合轻量级草稿模型和新采样机制，显著提高了解码效率，实验结果显示在多种模型架构中优于现有方法。

本文提出分阶段投机性解码算法，将投机批量重组为树并加入第二阶段解码，以加速小批量设备端LLM推断。在762M参数GPT-2-L上，解码延迟降低3.16倍且不损输出质量。文章还综述了SpecInfer、Medusa、Speculative Streaming等投机解码进展，这些方法通过预测推断、令牌树验证或多解码头并行预测实现2至3.6倍加速。

该文综述大语言模型并行解码与推理加速方法，包括SPEED、PaLM 2、BiLD、Paraformer、投机解码等，通过并行生成未来令牌、双模型协同或轻量适配器，在保持质量的同时显著降低延迟，最高提速10倍以上。

该文综述多种大语言模型推理加速方法，包括Medusa（通过额外解码头并行预测多标记，提速2.2至3.6倍）、级联投机解码、多候选验证、HydraSum多解码器、分块并行解码、自推测解码及Hydragen共享前缀注意力等，分别从草稿模型、并行验证和注意力计算等角度减少解码步骤，提升吞吐量。