神经网络的置换对称性导致非凸性，但适当的置换可以消除障碍。研究发现弱线性连接性和强线性连接性，后者更理想。此外，发现一个置换可以对齐逐步训练和稀疏化的网络序列。首次证明随着网络宽度增加，强线性连接可能是可能的。