Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种块扩散语言模型,克服了传统扩散语言模型在似然建模和固定长度生成方面的局限性,提高了推理效率,并在语言建模基准测试中取得了新进展。
🎯
关键要点
- 本研究提出了一种块扩散语言模型。
- 块扩散语言模型克服了传统扩散语言模型在似然建模和固定长度生成方面的局限性。
- 该模型提高了推理效率。
- 块扩散模型在语言建模基准测试中取得了新进展,设置了新的最先进性能。
- 块扩散模型支持生成任意长度的序列。
➡️