本文提出分阶段投机性解码算法，将投机批量重组为树并加入第二阶段解码，以加速小批量设备端LLM推断。在762M参数GPT-2-L上，解码延迟降低3.16倍且不损输出质量。文章还综述了SpecInfer、Medusa、Speculative Streaming等投机解码进展，这些方法通过预测推断、令牌树验证或多解码头并行预测实现2至3.6倍加速。