量子位
·
ICML最佳论文曾被ICLR拒稿，Pika联创参与，一作已入职OpenAI
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
ICML 2024最佳论文曾被ICLR 2024拒绝。该论文提出了一种新的离散扩散语言建模方法，在大多数任务中表现优于GPT-2。然而，由于实验不完整和缺乏与其他扩散模型的比较，最终被拒绝。作者之一已加入OpenAI，并将在ICML 2024上展示这项工作。
🎯
关键要点
- ICML 2024最佳论文曾被ICLR 2024拒绝。
- 论文提出了一种新的离散扩散语言建模方法，表现优于GPT-2。
- 由于实验不完整和缺乏与其他扩散模型的比较，最终被拒绝。
- 论文由斯坦福大学的团队撰写，Pika创始人之一孟晨琳参与。
- 引入分数熵损失函数，提高了离散扩散模型在语言建模任务中的性能。
- SEDD在主要语言建模任务上表现最佳，生成高质量无条件样本。
- 审稿人对论文的论点普遍肯定，但提出了拼写错误和实验细节不足的问题。
- 最终拒绝的原因主要是实验部分不完整，缺少与其他模型的比较。
- 作者已加入OpenAI，并将在ICML 2024上展示这项工作。
➡️
