变形金刚，语境主义和异义性
原文中文，约300字，阅读约需1分钟。发表于：。transformer architecture offers a novel perspective on the relationship between context and meaning, positioning itself within the contextualism and polysemy debates.
本文通过几何视角揭示了Transformer操作的内部机制，说明层归一化将潜在特征限制在超球面上，从而塑造了单词的语义表示。通过探究GPT-2模型，发现了早期层中的清晰查询-键注意力模式，并构建了关于注意力头部的特定主题性的先前观察。通过这些几何洞察，给出了Transformer的直观理解。
