用于推理高效 LLMs 的串联变压器
内容提要
该文综述大语言模型并行解码与推理加速方法，包括SPEED、PaLM 2、BiLD、Paraformer、投机解码等，通过并行生成未来令牌、双模型协同或轻量适配器，在保持质量的同时显著降低延迟，最高提速10倍以上。
延伸解读
并行解码的多种技术路径
文章综述了多种并行解码方法，包括SPEED、BiLD、Paraformer、投机解码等。这些方法通过不同机制加速推理：SPEED并行生成未来令牌，BiLD利用双模型协同，Paraformer预测令牌数量并生成隐藏变量，投机解码则通过逐步并行计算实现精确解码。它们共同目标是在保持输出质量的同时降低延迟，为读者提供了技术选型的参考。
实际加速效果与适用场景
根据文章，这些方法在不同任务上实现了显著加速。BiLD在NVIDIA Titan Xp GPU上实现高达2.38倍加速，Paraformer在语音识别任务中加速超过10倍，投机解码在T5-XXL模型上实现2-3倍加速。加速效果因模型、任务和硬件而异，读者需根据自身场景评估适用性。
质量保持与模型兼容性
文章强调，这些并行解码方法在加速的同时保持了模型准确性。例如，投机解码不改变输出分布，Paraformer性能与自回归Transformer相当，BiLD无显著性能损失。此外，部分方法如投机解码无需重新训练或架构更改，可直接支持现有模型，降低了应用门槛。
Q&A
有哪些方法可以加速大语言模型的推理？
文章提到了多种方法，包括SPEED（并行生成未来令牌）、PaLM 2（更高效的语言模型）、BiLD（双模型协同生成）、轻量级适配器微调、雅可比和高斯-塞德尔迭代并行解码、Paraformer（并行Transformer）、投机解码（speculative decoding）、并行自回归生成、P3LM（学习排列顺序和未来令牌）等。
BiLD框架是如何提高文本生成效率的？
BiLD框架通过两个不同大小的模型协同生成文本，在机器翻译、摘要生成和语言建模等任务中，在NVIDIA Titan Xp GPU上实现了高达2.38倍的加速，且不对性能造成显著损失。
投机解码（speculative decoding）是什么？它有什么优势？
投机解码是一种算法，通过逐步并行计算，使采样自回归模型更快，同时采用采样方法和新技术，在不改变分布的情况下从大模型中精确解码，无需重新训练或架构更改即可加速现有模型。在T5-XXL模型上可实现2-3倍加速，输出与标准T5X实现相同。
Paraformer在语音识别中取得了怎样的加速效果？
Paraformer是一种快速且精确的并行Transformer，用于端到端语音识别。它通过基于连续积分和火的预测器预测令牌数量并生成隐藏变量，使用瞥见语言模型（GLM）实现语义嵌入，并设计负采样策略。在AISHELL-1、AISHELL-2和工业级20,000小时任务中，实现了超过10倍的加速，性能与最先进的自回归Transformer相当。
SPEED方法如何提高推理效率？
SPEED基于Transformer架构，通过使用预测值并行执行当前令牌和多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。
P3LM语言模型有什么特点？
P3LM通过学习生成排列顺序上的token和对应的未来N个token，加强了双向信息建模和长程相关性建模。在四个摘要数据集、两个问题生成数据集、一个对话问题回答数据集和一个对话回复数据集的实验中，P3LM在生成式预训练方法上取得了最先进的结果。
