扩散指导语言建模

BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

现代自回归型大型语言模型在自然语言处理基准测试中表现出色，并应用于实际领域。最近提出的基于得分熵离散扩散 (SEDD) 的方法是自回归生成的有希望的替代方案，但也存在一些不足之处。SEDD 在困惑度和基准测试上与自回归模型相匹配，并在推理延迟方面比 GPT-2 高效多达 4.5 倍。然而，在给定短提示的条件生成方面，SEDD 似乎比 GPT-2 稍逊一筹。