学习的形态：基于 Transformer 模型的各向异性和固有维度

本研究分析了变形器模型的注意力层，探讨其优劣势及内在复杂度参数。发现循环网络和前馈网络复杂性随输入增大而多项式增长，变形器则对数增长。同时指出大嵌入维度在变形器中的重要性。提出三元组检测任务，注意力层复杂性线性增长，但实际应用少见。研究强调通信复杂度在分析变形器模型时的价值。