复杂模块算术中解释曲解的变形金刚
内容提要
该文综述神经网络机制可解释性研究，通过逆向工程发现模型将加法转化为圆周旋转，训练经历记忆、电路形成、清除三阶段；模型可学习群乘法的子群结构；正则化能抑制记忆、促进泛化；线性网络中亦存在“领悟”现象，泛化提升未必代表理解；中等深度模型层次泛化最佳；鲁棒性度量可解释并加速领悟；分解数字可提升Transformer算术准确率。
延伸解读
从记忆到泛化的三阶段训练动态
文章指出，在模块化加法任务中，训练过程可分为记忆、电路形成和清除三个连续阶段。模型首先记住训练样本，随后形成基于离散傅里叶变换和三角恒等式的电路，将加法转化为圆周旋转，最后清除记忆痕迹。这一动态揭示了神经网络从死记硬背到算法泛化的内在转变，为理解训练过程提供了可解释的视角。
正则化如何促进泛化：机制性解释
文章通过实验证明，权重衰减、dropout和BatchNorm等正则化方法能强制网络忽略损坏数据，从而在未损坏数据上达到100%准确率。其机制在于：权重衰减和dropout促使所有神经元学习广义表示，而BatchNorm则降低记忆神经元的输出并放大广义神经元的输出。这表明正则化不仅提升泛化，其作用还可被机械解释。
领悟现象：泛化提升未必代表理解
文章发现，线性网络在教师-学生设置中也能出现领悟现象，即训练数据拟合后泛化能力突然提升。然而，泛化准确度的显著提高并不一定意味着从记忆到理解的过渡，可能只是准确度度量的艺术效果。这提醒我们，在评估模型是否真正理解任务时，需谨慎对待泛化指标的变化。
层次泛化与模型深度的关系
文章研究了神经序列和转换语言模型的层次结构泛化能力，发现通过长时间训练，模型能学习到层次结构的一般性。对模型深度的分析表明，浅层和深层模型的性能均不如中等深度模型。这一发现证实了香草Transformer能够发现并使用自然语言中的层次结构，为模型深度选择提供了参考。
Q&A
Transformer 是如何实现模加法运算的？
通过逆向工程发现，Transformer 使用离散傅里叶变换和三角恒等式将加法转换为圆周上的旋转。
神经网络训练过程中会经历哪些阶段？
训练过程分为三个连续阶段：记忆、电路形成和清除。
正则化方法如何影响神经网络的泛化？
权重衰减和 dropout 强制所有神经元学习广义表示，BatchNorm 降低记忆神经元的输出并放大广义神经元的输出，从而在未损坏数据集上达到 100% 的准确性。
什么是 grokking 现象？
grokking 指模型在训练数据拟合后依然能够泛化的现象，即延迟泛化。
模型深度如何影响层次结构泛化能力？
中等深度的模型在层次结构泛化上表现最佳，浅层和深层模型性能不如中等深度模型。
如何提高 Transformer 在算术任务上的准确性？
通过分解数字（称为 Calculon 的方法），在五位数加法任务上准确率比 GPT-3 提高了 63%。
