离散扩散是一种有效的离散数据建模与生成框架。本文提出目标混凝土评分匹配(TCSM),作为训练和微调离散扩散模型的新目标。TCSM支持从数据样本进行预训练,并可结合奖励函数或偏好数据进行后期训练。实验结果表明,TCSM在语言建模任务中表现优异,具备灵活性和样本效率。
研究者提出了一种新方法——广义插值离散扩散(GIDD),结合掩蔽和均匀噪声,允许模型自我纠错,从而实现最佳性能。
本研究提出了一种离散扩散薛定谔桥匹配(DDSBM)框架,用于解决生成建模中任意分布传输的问题。该框架通过连续时间马尔可夫链在高维离散状态空间中解决薛定谔桥问题,适用于图的变换,并在分子优化中有效,优化目标属性同时保留其他特征。
ICML 2024最佳论文曾被ICLR 2024拒绝。该论文提出了一种新的离散扩散语言建模方法,在大多数任务中表现优于GPT-2。然而,由于实验不完整和缺乏与其他扩散模型的比较,最终被拒绝。作者之一已加入OpenAI,并将在ICML 2024上展示这项工作。
完成下面两步后,将自动完成登录并继续当前操作。