本研究提出了一种自我推测解码(ASD)方法,旨在解决去噪扩散概率模型(DDPMs)推理中的计算瓶颈,显著提高推理速度。ASD在并行运行时的速度比传统方法快约$ ilde{O}(K^{rac{1}{3}})$。
该文介绍了一种新颖的自我推测解码推理方案,用于加速大型语言模型,无需辅助模型。该方法通过草稿和验证两个阶段的过程来实现,不需要额外的神经网络训练和内存占用,加速比最高可达1.73倍。
完成下面两步后,将自动完成登录并继续当前操作。