本文讨论了分词在神经语言模型中的重要性，提出了一种有限状态传导框架，可以有效编码所有可能的分词方案。研究表明，常用的分词方法如BPE和WordPiece可以融入该框架，实现更精准的生成模式匹配，为未来模型输出提供新的约束方法。