理解为压缩：非线性复杂性视角

该研究发现，延迟记忆后的泛化现象是由于网络压缩导致的，提出了线性映射数（LMN）来衡量网络复杂度。LMN更能自然地解释为信息/计算，并且在压缩阶段与测试损失呈线性关系。此外，LMN还揭示了XOR网络在两个泛化解之间切换的有趣现象。LMN是作为神经网络版的科尔莫哥洛夫复杂性的一个有希望的候选。