何恺明团队推出了首个扩散语言模型ELF，采用105M参数和45B训练token，成功超越主流模型。ELF通过在连续空间中去噪生成离散token，显著提高生成速度和质量，展示了小规模模型的高效输出，降低了训练成本，未来有望推动AI生成速度提升。

何恺明团队推出了新的扩散语言模型ELF，该模型采用连续的embedding空间进行文本生成，显著降低了生成困惑度。ELF在训练和采样效率上表现优异，仅用105M参数和45B训练token，生成质量超过主流模型。该模型首次实现了连续与离散的有效结合，推动了扩散语言模型的发展。

本期节目包含两次采访。第一部分，Ryan与Inception的CEO Stefano Ermon讨论扩散语言模型的生成速度和准确性。第二部分，Ryan与Roomie的主席Aldo Luevano探讨Roomie在物理和软件AI模型构建中的ROI优先方法，以帮助公司评估机器人和AI的影响。

Dream 7B是一种新型的扩散语言模型，采用去噪方法，能够更好地处理上下文，提高生成灵活性和规划能力。与传统模型相比，Dream 7B在多项任务中表现优异，显示出扩散模型可能会取代自回归模型。

扩散语言模型（DLMs）旨在克服自回归模型的局限性。本文提出通过适应自回归模型构建文本扩散模型，展示了自回归与扩散建模目标之间的联系，并介绍了一种持续预训练方法。实验结果表明，转换后的模型在语言建模和推理基准上表现优异，超越了早期的DLMs，并与自回归模型竞争。