本研究提出了一种通用方法，通过大型语言模型（LLM）揭示其令牌输入嵌入的拓扑结构，并提供了理论证明。该方法有效恢复了Llemma-7B的令牌子空间，对LLM及一般非线性自回归过程具有重要影响。

本研究提出了自条件嵌入扩散机制，用于条件和非条件文本生成。该机制在令牌嵌入上运行，学习灵活和可扩展的扩散模型。通过评估，发现该模型生成的样本与自回归语言模型相当，但在推断时间上更高效。该研究为扩大文本扩散模型规模，提高性能铺平了道路。