超越下一个词元预测：扩散语言模型与自回归语言模型的性能表征
内容提要
本文比较了自回归语言模型（ARMs）与扩散语言模型（DLMs）的性能。DLMs通过并行生成令牌提高算术强度，但长上下文扩展不佳；块状解码可改善此问题。批处理推理中，ARMs因序列并行优势吞吐量更高。减少采样步数是DLMs降低延迟的关键。
延伸解读
并行生成的双刃剑
DLMs通过并行生成所有token，理论上能提高算术强度，但实际中长上下文扩展不佳。这是因为并行处理长序列时，内存和计算开销增加，导致效率下降。块状解码将序列分成块，解耦算术强度与序列长度，从而改善长上下文性能。这提示我们，并行并非总是优势，需根据序列长度权衡。
批处理中的吞吐量差异
在批处理推理中，ARMs因序列间并行而吞吐量更高，而DLMs的并行优势在批处理中减弱。这是因为ARMs的序列并行与批处理并行互补，而DLMs的token并行在批处理时可能造成资源竞争。因此，实际部署中，ARMs在批量处理场景下可能更高效，DLMs需优化批处理策略。
减少采样步数的关键性
对于开源DLMs，降低延迟的关键在于减少采样步数。DLMs通常需要多步采样才能生成高质量文本，这增加了计算开销。通过减少采样步数，可以显著降低延迟，使其与ARMs竞争。这提示DLMs的优化重点应放在采样效率上，而非单纯增加并行度。
Q&A
扩散语言模型相比自回归语言模型的主要优势是什么？
扩散语言模型（DLMs）通过并行生成输出令牌，避免了自回归模型（ARMs）的序列依赖，从而提高了算术强度，缓解了顺序解码的限制。
扩散语言模型在长上下文处理上存在什么问题？
扩散语言模型在长上下文下扩展效果不佳，因为其算术强度与序列长度相关，导致性能下降。
块状解码如何改善扩散语言模型的长上下文性能？
块状解码将算术强度与序列长度解耦，使得DLMs能够更好地扩展到长上下文，类似于自回归模型。
在批处理推理中，自回归模型和扩散语言模型的吞吐量表现如何？
在批处理推理中，自回归模型（ARMs）表现出更高的吞吐量，因为它们从批次中的序列并行性中获益更多。
根据文章，加速扩散语言模型推理的关键是什么？
减少采样步数是加速开源扩散语言模型推理的关键，这有助于实现相对于自回归模型更低的延迟。
文章主要研究了哪些方面来对比扩散语言模型和自回归语言模型？
文章结合理论分析和经验剖析，研究了算术强度、长上下文扩展、块状解码、批处理推理吞吐量以及推理加速机会等方面，以全面表征两种方法的性能权衡。
