变形金刚，语境主义和异义性
内容提要
本文探讨了一种基于Transformer的语言模型，提出了一种新的上下文词表示模型，以弥补传统方法与神经方法之间的差距。研究分析了Transformer在处理全局与上下文信息时的权衡，指出其局限性及在长上下文中的重要性，并提出了可视化工具以理解其语义结构。
延伸解读
Transformer的几何解释：超球面与注意力
文章提到，通过几何视角可揭示Transformer的内部机制：层归一化将潜在特征限制在超球面上，注意力则在此表面上塑造单词的语义表示。对GPT-2的探究发现了早期层中清晰的查询-键注意力模式，以及更深层中注意力头部的主题性。这为理解Transformer提供了直观图像——沿着超球面的词粒子轨迹建模。
全局与上下文信息的学习权衡
研究使用合成机制考察Transformer处理全局与上下文信息的权衡，发现模型相对较快地学习全局信息，但对上下文信息中的二元组识别较慢。同时探究了权重矩阵作为联想记忆的作用及梯度学习机制。这表明Transformer在捕捉局部依赖时可能效率较低，需关注数据分布属性的影响。
长上下文的重要性与冗余性
实验表明，对于当前Transformer语言模型的低困惑度，长上下文至关重要，但上下文的详细句法和命题内容并不重要。在中长程上下文中，极端破坏性操作（如重排单词、删除除名词外的所有词）仅移除不到15%的可用信息。这提示长上下文的价值可能更多在于提供冗余信号而非精确的句法结构。
字典学习：可视化分层语义结构
文章提出使用字典学习作为线性叠加的Transformer成分的可视化工具，以展示其捕捉的分层语义结构，包括词级歧义消歧、句级模式形成和远距依赖。这些模式有些证实了常规语言学知识，有些则出乎意料，可能提供新见解。该工具旨在帮助更深入理解Transformer网络的工作原理。
Q&A
什么是新的上下文词表示模型？
新的上下文词表示模型旨在弥补传统方法与神经方法之间的差距，基于纯句法和概率角度设计，能够在小到中等规模的数据集上执行任务。
Transformer在处理全局信息和上下文信息时有什么权衡？
Transformer相对较快地学习全局信息，但对上下文信息中的二元组的识别较慢。
Transformer架构在语言模型方面存在哪些局限性？
Transformer在信息理论上具有普适预测性，但在非渐近数据区域的性能较差，尤其是在数据有效训练的情境中。
如何使用字典学习可视化Transformer的语义结构？
字典学习作为可视化工具展示Transformer成分捕捉的分层语义结构，包括词级歧义消歧和句级模式形成。
长上下文对Transformer语言模型的重要性是什么？
长上下文对当前Transformer语言模型的低困惑度至关重要，但上下文的详细句法和命题内容并不重要。
本文提出了哪些未来研究的挑战和方向？
未来研究的挑战包括改进Transformer的长上下文能力和评估需求，以及探索基于语言学原则的神经方法。
