本文提出了一种新算法——分阶段投机性解码，旨在加速小批量大型语言模型（LLM）的推断。该方法通过重组投机性批量为树结构并增加第二阶段解码，成功将解码延迟降低了3.16倍，同时保持输出质量。此外，研究还探讨了推测解码的训练方法，显著提高了模型的效率和性能。

本文提出了一种新算法——分阶段投机性解码，旨在加速小批量设备上的大型语言模型推断。该方法通过重组投机性批量为树结构并引入第二阶段解码，在保持输出质量的同时，将解码延迟降低了3.16倍。此外，研究探讨了推测执行在大型语言模型中的应用及未来发展方向。

该文介绍了在线传播框架和两种节点自适应传播方法，用于加速可扩展图神经网络的推断过程。同时，提出了Inception Distillation来平衡准确性和时延之间的平衡。实验结果表明，该方法优于现有的图推断加速方法。