利用统计和近似理论理解变压器神经网络在内在低维数据上的扩展规律

BriefGPT - AI 论文速递 · 2024-11-11T00:00:00Z

增加 Transformer 模型的规模并不总能提高性能，模型对训练样本的记忆可以改善其泛化能力。我们提出了一个理论框架，揭示了 Transformer 的记忆过程与性能之间的动态关系，并通过 Hopfield 网络模拟其行为，设计了能量函数以解释注意力机制。实验结果验证了我们的理论。