💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
何恺明团队推出了新的扩散语言模型ELF，该模型采用连续的embedding空间进行文本生成，显著降低了生成困惑度。ELF在训练和采样效率上表现优异，仅用105M参数和45B训练token，生成质量超过主流模型。该模型首次实现了连续与离散的有效结合，推动了扩散语言模型的发展。
🎯
关键要点
-
何恺明团队推出了新的扩散语言模型ELF，采用连续的embedding空间进行文本生成。
-
ELF模型使用105M参数和45B训练token，生成质量超过主流模型，生成困惑度压到24。
-
ELF首次实现了连续与离散的有效结合，推动了扩散语言模型的发展。
-
ELF在训练和采样效率上表现优异，训练token数量比主流模型少近10倍，采样步数也更少。
-
ELF通过将去噪过程留在连续embedding空间，直到最后一步才进行离散化，解决了连续与离散对齐的问题。
-
ELF在多个条件生成任务上表现稳定，超越现有扩散语言模型和自回归基线。
-
论文总结指出，连续派并非不能打，而是之前没有将连续方法做到极致。
❓
延伸问答
ELF模型的主要创新点是什么？
ELF模型首次实现了连续与离散的有效结合，通过在连续的embedding空间中进行文本生成，直到最后一步才进行离散化。
ELF模型在生成质量上与主流模型相比如何？
ELF模型在生成质量上超过了主流模型，生成困惑度压到了24，显示出更自然的文本生成能力。
ELF模型使用了多少参数和训练token？
ELF模型使用了105M参数和45B训练token。
ELF模型在训练和采样效率上有什么优势？
ELF模型在训练token数量上比主流模型少近10倍，采样步数也更少，表现出优异的训练和采样效率。
ELF模型如何解决连续与离散对齐的问题？
ELF模型通过将去噪过程留在连续embedding空间，直到最后一步才进行离散化，从而解决了连续与离散对齐的问题。
ELF模型在条件生成任务上的表现如何？
ELF模型在多个条件生成任务上表现稳定，超越了现有的扩散语言模型和自回归基线。
➡️
