本文研究了对称性在深度学习中的重要性，探讨了skip connection对深层网络训练的影响，证明其能消除奇异点。分析了对称性与等变性的关系，提出“放松等变性”概念，并展示其在多层感知机中的应用。最后，讨论了参数对称性对模型性能的影响，并提出新型神经网络架构以提升训练效果。