迷宫解决变形器中的结构化世界表示

BriefGPT - AI 论文速递 · 2023-12-05T00:00:00Z

本文从几何视角揭示了Transformer操作的内部机制，说明层归一化将潜在特征限制在超球面上，塑造单词的语义表示。通过探究GPT-2模型，发现了早期层中的清晰查询-键注意力模式，并构建了关于注意力头部的特定主题性的先前观察。利用这些洞察，将Transformer描述为沿着超球面的词粒子的轨迹的建模过程。