从自注意力到马尔可夫模型：揭示生成变换器的动力学
内容提要
该文从马尔可夫链视角研究Transformer的序列建模能力，探讨数据分布、模型结构与性能的关系；分析大语言模型对上下文外词汇的表示，发现意外词元会降低模型对自身信息的关注（尤其在高层次）；并指出双向注意力可视为堆叠与混合的MoE，揭示其处理异构数据的有效性及词嵌入线性类比的局限。
延伸解读
马尔可夫链视角下的Transformer建模
文章从马尔可夫链角度研究Transformer的序列建模能力，探讨数据分布特性、模型结构与学习分布和性能之间的相互作用。这为理解Transformer如何捕捉序列依赖提供了理论框架，并暗示模型性能与数据分布密切相关。
意外词元对LLM表示的影响
研究发现，当LLM遇到上下文之外的意外词元时，模型会减少对自身信息的关注来计算其表示，这种效应在较高层次尤为明显。这表明LLM对输入扰动敏感，可能影响其在真实场景中的鲁棒性，评估时需注意此类风险。
双向注意力的MoE解释与词嵌入局限
通过重新参数化，双向注意力可视为堆叠与混合的MoE，这揭示了其处理异构数据的有效性。同时，统计视角指出双向注意力词嵌入中线性类比存在限制条件，提醒我们词向量的线性关系并非普遍适用。
Q&A
Transformer的序列建模能力如何从马尔可夫链角度理解？
文章通过马尔可夫链的角度研究Transformer的序列建模能力，并在理论和实验上探讨数据分布特性、Transformer结构、学习分布和模型性能之间的相互作用。
大语言模型如何处理上下文之外的词汇？
文章分析了大语言模型如何表示上下文之外的单词，研究它们依赖所给上下文来捕捉语义的情况。通过文本扰动指导似然性，揭示了Transformer中令牌似然性和注意力值的相关性。实验表明，意外的令牌会导致模型不太关注来自自身的信息以计算表示，特别是在较高层次上。
双向注意力为什么可以看作混合专家模型（MoE）？
通过重新参数化，多层多头的双向注意力可以被视为堆叠的MoE和混合的MoE，这揭示了双向注意力中使用MoE的独特之处，并说明了其在处理异构数据方面的实际有效性。
双向注意力的词嵌入线性类比有什么限制？
统计视角揭示了双向注意力的词嵌入中线性类比的限制条件。
自注意力在建模形式语言时有哪些理论限制？
文章研究了自注意力在建模形式语言方面的计算能力，发现其在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。
如何将自注意力解释为因果结构模型？
文章将自注意力解释为一种机制，用于估计给定输入符号序列的结构方程模型。结构方程模型可以被解释为输入序列特定上下文下的输入符号的因果结构。通过计算最深层注意力中相应表示之间的偏相关来估计输入符号之间的条件独立关系，从而使用现有的基于约束的算法学习输入序列上的因果结构。现有的预训练Transformer可被用于零样本因果发现。
