何恺明首个语言模型：不走GPT老路，105M参数干翻主流
内容提要
何恺明团队推出了首个扩散语言模型ELF，采用105M参数和45B训练token，成功超越主流模型。ELF通过在连续空间中去噪生成离散token，显著提高生成速度和质量，展示了小规模模型的高效输出，降低了训练成本，未来有望推动AI生成速度提升。
关键要点
-
何恺明团队推出了首个扩散语言模型ELF，采用105M参数和45B训练token，成功超越主流模型。
-
ELF通过在连续空间中去噪生成离散token，显著提高生成速度和质量。
-
ELF的设计包括将词转换为连续向量，在连续空间中进行去噪，最后再转换为token。
-
实验结果显示，ELF只用了十分之一的训练数据和三十二分之一的采样步数，生成困惑度达到24，优于离散派模型。
-
ELF展示了小规模模型的高效输出，降低了训练成本，未来有望推动AI生成速度提升。
延伸解读
扩散语言模型的优势
ELF模型采用扩散语言模型的设计理念，能够在生成文本时实现并行解码，这意味着生成速度有望大幅提升。与传统的自回归模型相比，ELF在训练效率和生成质量上均表现出色，展示了小规模模型的潜力。
训练成本的降低
ELF模型仅使用十分之一的训练数据和三十二分之一的采样步数就达到了优于主流模型的效果。这一创新不仅降低了训练成本，也为小团队开发自己的语言模型提供了可能，推动了AI技术的普及。
未来的应用前景
尽管ELF目前仍处于研究阶段，但其成功的实验结果表明，未来可能会出现更高效的AI生成模型。随着技术的成熟，用户将可能体验到更快的AI响应速度，甚至实现实时交互。
延伸问答
ELF语言模型的主要创新点是什么？
ELF通过在连续空间中去噪生成离散token，显著提高了生成速度和质量，采用105M参数和45B训练token，成功超越主流模型。
何恺明团队选择扩散语言模型的原因是什么？
何恺明团队认为，扩散语言模型在理论上可以并行生成文本，速度远超自回归模型，因此选择了这一技术路线。
ELF模型在训练效率上有什么优势？
ELF只用了十分之一的训练数据和三十二分之一的采样步数，生成困惑度达到24，全面优于离散派模型。
ELF模型的生成质量如何？
ELF在条件生成任务中表现优异，德→英翻译任务中取得26.4 BLEU，超过了自回归基线和其他离散派模型。
ELF模型的设计流程是怎样的？
ELF的设计流程包括将词转换为连续向量，在连续空间中去噪，最后再转换为token，去噪和解码由同一网络完成。
ELF模型对未来AI生成速度有什么影响？
ELF的并行解码能力有望将AI生成速度提升5-10倍，可能改变未来AI的响应速度。
