本研究提出了一种自我推测解码（ASD）方法，旨在解决去噪扩散概率模型（DDPMs）推理中的计算瓶颈，显著提高推理速度。ASD在并行运行时的速度比传统方法快约$ ilde{O}(K^{rac{1}{3}})$。

本文提出了一种新颖的自我推测解码方案，旨在加速大型语言模型（LLMs）的推理过程。该方法通过草稿和验证两个阶段生成高质量输出，无需额外训练或内存占用。实验结果表明，该方案在效率上可实现最高1.73倍的加速，显著提升生成质量并节省计算资源。

本文提出了一种新颖的自我推测解码方案，旨在加速大型语言模型（LLMs）的推理。该方法分为草稿和验证两个阶段，确保输出质量与原始模型一致。实验结果显示，该方案在多个任务中实现了显著的速度提升和内存效率，最高加速比可达3.16倍，且无需额外训练。

本文提出了一种新颖的自我推测解码方案，用于加速大型语言模型（LLMs）。该方法分为草稿和验证两个阶段，确保输出质量与原始模型一致。草稿阶段快速生成标记，验证阶段使用原始LLM进行确认。该方案无需额外训练，经济高效，基准测试显示加速比最高可达1.73倍。

提出自我推测解码加速大语言模型推理：草稿阶段跳过部分中间层快速生成候选标记，验证阶段用原模型一次前向验证，输出与原始模型完全一致，无需额外训练和内存，LLaMA-2上加速最高1.73倍。相关研究包括并行解码、多候选推测解码、G-SPEED、LLMA及分阶段推测解码等，均旨在提升生成速度并保持质量。

该文介绍了一种新颖的自我推测解码推理方案，用于加速大型语言模型，无需辅助模型。该方法通过草稿和验证两个阶段的过程来实现，不需要额外的神经网络训练和内存占用，加速比最高可达1.73倍。