扩散语言模型的理论优势与局限性 本文研究了扩散语言模型，特别是掩码扩散模型（MDM）的效率与准确性之间的权衡，填补了该领域理论分析的空白。我们证明了MDM的效果依赖于评估指标，且在使用困惑度作为指标时，其抽样步骤可达到近乎最优的效果；但在考虑序列错误率时，其抽样步骤需与序列长度线性相关，从而导致其在效率上失去优势。这些理论发现均通过实证研究得到了支持。 本文探讨了掩码扩散模型（MDM）在效率与准确性之间的权衡，填补了理论分析的空白。研究结果表明，MDM的效果依赖于评估指标，使用困惑度时接近最优，但在考虑序列错误率时效率有所下降。 准确性 序列错误率 掩码扩散模型 效率 评估指标 语言模型
