近年来，扩散模型在自然语言处理中的应用引起关注，发展出离散扩散语言模型（DLM）。DLM通过去噪生成文本，支持并行解码，提高生成速度和结构控制。新加坡国立大学的Dimple模型结合视觉编码器与扩散语言模型，采用自回归与扩散的两阶段训练，性能优于同规模自回归模型。