量子位
·
ICML最佳论文曾被ICLR拒稿，Pika联创参与，一作已入职OpenAI
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
ICML 2024最佳论文曾被ICLR 2024拒绝。该论文提出了一种新的离散扩散语言建模方法，在大多数任务中表现优于GPT-2。然而，由于实验不完整和缺乏与其他扩散模型的比较，最终被拒绝。作者之一已加入OpenAI，并将在ICML 2024上展示这项工作。
🎯
关键要点
-
ICML 2024最佳论文曾被ICLR 2024拒绝。
-
论文提出了一种新的离散扩散语言建模方法，表现优于GPT-2。
-
由于实验不完整和缺乏与其他扩散模型的比较，最终被拒绝。
-
论文由斯坦福大学的团队撰写，Pika创始人之一孟晨琳参与。
-
引入分数熵损失函数，提高了离散扩散模型在语言建模任务中的性能。
-
SEDD在主要语言建模任务上表现最佳，生成高质量无条件样本。
-
审稿人对论文的论点普遍肯定，但提出了拼写错误和实验细节不足的问题。
-
最终拒绝的原因主要是实验部分不完整，缺少与其他模型的比较。
-
作者已加入OpenAI，并将在ICML 2024上展示这项工作。
❓
延伸问答
这篇被拒的论文主要研究什么内容？
这篇论文主要研究了一种新的离散扩散语言建模方法，旨在提高扩散模型在语言建模任务中的性能。
为什么这篇论文在ICLR 2024被拒绝？
论文被拒的主要原因是实验部分不完整，缺乏与其他扩散模型的比较。
这篇论文的作者有哪些背景？
论文由斯坦福大学的团队撰写，Pika创始人之一孟晨琳参与，且一作已加入OpenAI。
这篇论文提出了什么新的方法？
论文提出了一种新的损失函数分数熵（score entropy），构建了分数熵扩散模型（SEDD）。
这篇论文在实验中与GPT-2的比较结果如何？
在多数任务中，论文提出的方法表现优于GPT-2，尤其在零样本困惑度任务上击败了GPT-2。
审稿人对这篇论文的评价如何？
审稿人普遍肯定了论文的论点，但也提出了拼写错误和实验细节不足的问题。
➡️
