现代自回归语言模型在自然语言处理上表现出色，但存在一些局限性。本文评估了得分熵离散扩散（SEDD）方法，发现其是自回归生成的有效替代方案，尽管在短提示生成上略逊于GPT-2，但在推理延迟方面更为高效。

现代自回归型大型语言模型在自然语言处理基准测试中表现出色，并应用于实际领域。最近提出的基于得分熵离散扩散 (SEDD) 的方法是自回归生成的有希望的替代方案，但也存在一些不足之处。SEDD 在困惑度和基准测试上与自回归模型相匹配，并在推理延迟方面比 GPT-2 高效多达 4.5 倍。然而，在给定短提示的条件生成方面，SEDD 似乎比 GPT-2 稍逊一筹。