华人团队终结Token危机:扩散模型数据潜力超自回归三倍

量子位 量子位 ·

华人团队研究表明,扩散语言模型在token数量受限时,其数据潜力超过自回归模型三倍,且未出现性能饱和。该模型通过双向建模和高计算密度提升学习效果,且在过拟合情况下性能仍可能持续提升。

原文中文,约2300字,阅读约需6分钟。
阅读原文