扩散指导语言建模
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了现有语言模型在生成文本时难以控制特定属性的问题，如情感或毒性。提出了一种新的扩散指导模型，通过生成潜在提案来引导自回归语言模型，从而结合了自回归方法的流畅性和扩散方法的灵活性。实验表明，该模型在多个基准数据集上优于之前的指导方法，并且控制新属性仅需训练一个逻辑回归分类器。
现代自回归型大型语言模型在自然语言处理基准测试中表现出色，并应用于实际领域。最近提出的基于得分熵离散扩散 (SEDD) 的方法是自回归生成的有希望的替代方案，但也存在一些不足之处。SEDD 在困惑度和基准测试上与自回归模型相匹配，并在推理延迟方面比 GPT-2 高效多达 4.5 倍。然而，在给定短提示的条件生成方面，SEDD 似乎比 GPT-2 稍逊一筹。
