本研究提出了一种新系统PASTA，旨在解决自回归大型语言模型的顺序解码局限。该系统通过学习语义独立性，优化并行解码，显著提升了解码速度和响应质量。

本研究提出Jakiro方法，通过专家组合生成多样化预测，解决模型容量有限导致的准确性不足问题。引入混合推理策略，结合自回归与并行解码，提高了预测的准确性和速度，推动了推测解码研究的进展。

本研究提出了ZipAR框架，旨在提高自回归图像生成的效率。通过利用图像的局部结构，ZipAR能够在一次前向传播中并行解码多个相邻区域，实验表明可减少91%的前向传播次数。

本文探讨了基于Transformer架构的生成式大型语言模型（SPEED）在机器翻译中的应用，提出了并行解码方法以提高推理效率，速度提升可达38%。同时，介绍了自我推测解码方案，确保输出质量并加速推理。此外，研究提出了分块并行解码和轻量级草稿模型，显著提高了解码效率，保持高性能。

该文综述非自回归序列生成研究，通过离散潜变量、CTC、CRF及分块并行解码提升解码速度，在机器翻译和图像字幕任务中比自回归快数倍至一个数量级，质量接近或略低；并提出视觉句子建模，无需语言数据即可训练大规模视觉模型。

本文综述非自回归机器翻译进展，包括利用翻译记忆改进Levenshtein Transformer、提出支持插入删除的部分自回归模型以提升解码效率、分析Transformer解码器信息传递并精简前馈模块，以及引入词汇约束、词级质量评估、DSLP深度监督、潜变量模型和并行解码等方法，在保证翻译质量的同时显著加速推理。

该文综述大语言模型并行解码与推理加速方法，包括SPEED、PaLM 2、BiLD、Paraformer、投机解码等，通过并行生成未来令牌、双模型协同或轻量适配器，在保持质量的同时显著降低延迟，最高提速10倍以上。

该文综述多种大语言模型推理加速方法，包括Medusa（通过额外解码头并行预测多标记，提速2.2至3.6倍）、级联投机解码、多候选验证、HydraSum多解码器、分块并行解码、自推测解码及Hydragen共享前缀注意力等，分别从草稿模型、并行验证和注意力计算等角度减少解码步骤，提升吞吐量。