离散扩散是一种有效的离散数据建模与生成框架。本文提出目标混凝土评分匹配（TCSM），作为训练和微调离散扩散模型的新目标。TCSM支持从数据样本进行预训练，并可结合奖励函数或偏好数据进行后期训练。实验结果表明，TCSM在语言建模任务中表现优异，具备灵活性和样本效率。

研究者提出了一种新方法——广义插值离散扩散（GIDD），结合掩蔽和均匀噪声，允许模型自我纠错，从而实现最佳性能。