研究表明，简单架构通过定位和语义机制学习解决方案，并在样本复杂度增加时展现机制转变，证明点乘注意层在数据充足时的优势。

实验表明，一种简单架构可以通过定位或语义机制学习解决方案。研究了可训练结构和低秩非线性自注意层在高维数据和大量样本下的表现。结果显示，随着样本复杂度增加，机制从定位转向语义，并证明在足够数据下，点乘注意层的语义机制更优。

通过实验证明了一个简单的架构能够学习实现解决方案，使用定位机制或语义机制，同时研究了可训练的相同结构和低秩的非线性自注意层的学习情况，并在高维数据和大量训练样本的极限情况下提供了对于全局最小非凸经验损失函数的闭合描述，揭示了随着样本复杂度的增加，从定位机制到语义机制的出现性阶段转变，并通过与线性定位基准的比较证明了点乘注意层使用语义机制在具备足够数据的情况下的优越性。