随机变换器的算法能力
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了对训练变换器模型在执行算法性任务时的电路来源了解不足的问题。通过优化嵌入层的随机初始化变换器，我们发现这些模型在未经过训练的情况下，已经能够执行模块算术、关联记忆等多种算法任务。研究结果表明，一些算法能力在模型训练前就已存在，并能通过合适的输入结构进行访问。
研究分析Transformer模型的解释性方法，探讨通过模型特定部分（如权重矩阵或注意力模式）理解算法的有效性。通过理论和合成数据实验，展示模型在学习Dyck语言任务中的结构特征，证明最佳解具有丰富的定性特点。实验显示，即使在严格约束下，标准训练也能产生不同解决方案，因此仅关注模型个别部分可能会产生误导。
