何恺明首个语言模型：不走GPT老路，105M参数干翻主流
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
何恺明团队推出了首个扩散语言模型ELF，采用105M参数和45B训练token，成功超越主流模型。ELF通过在连续空间中去噪生成离散token，显著提高生成速度和质量，展示了小规模模型的高效输出，降低了训练成本，未来有望推动AI生成速度提升。
🎯
关键要点
-
何恺明团队推出了首个扩散语言模型ELF，采用105M参数和45B训练token，成功超越主流模型。
-
ELF通过在连续空间中去噪生成离散token，显著提高生成速度和质量。
-
ELF的设计包括将词转换为连续向量，在连续空间中进行去噪，最后再转换为token。
-
实验结果显示，ELF只用了十分之一的训练数据和三十二分之一的采样步数，生成困惑度达到24，优于离散派模型。
-
ELF展示了小规模模型的高效输出，降低了训练成本，未来有望推动AI生成速度提升。
❓
延伸问答
ELF语言模型的主要创新点是什么？
ELF通过在连续空间中去噪生成离散token，显著提高了生成速度和质量，采用105M参数和45B训练token，成功超越主流模型。
何恺明团队选择扩散语言模型的原因是什么？
何恺明团队认为，扩散语言模型在理论上可以并行生成文本，速度远超自回归模型，因此选择了这一技术路线。
ELF模型在训练效率上有什么优势？
ELF只用了十分之一的训练数据和三十二分之一的采样步数，生成困惑度达到24，全面优于离散派模型。
ELF模型的生成质量如何？
ELF在条件生成任务中表现优异，德→英翻译任务中取得26.4 BLEU，超过了自回归基线和其他离散派模型。
ELF模型的设计流程是怎样的？
ELF的设计流程包括将词转换为连续向量，在连续空间中去噪，最后再转换为token，去噪和解码由同一网络完成。
ELF模型对未来AI生成速度有什么影响？
ELF的并行解码能力有望将AI生成速度提升5-10倍，可能改变未来AI的响应速度。
➡️
