深度神经网络中的神经塌缩现象影响非线性模型和多分类问题的优化。研究表明,神经崩溃程度与隐藏层深度相关,并在多标签学习中表现出独特的“标签平均”属性。实验结果揭示了特征传播的细节,并探讨了公平性问题及其矫正方法的有效性。此外,研究还扩展了神经塌缩现象至不平衡类别和图神经网络,强调其在大型语言模型中的普遍性。
本研究探讨了神经切比雪夫核(NTK)和神经塌缩(NC)现象对深度神经网络(DNN)训练的影响,提出了块状结构的经验 NTK,并分析了 DNN 的动态特性。实证研究验证了神经崩溃现象在图神经网络中的特征演变与拓扑关系,发现崩溃程度与层深度相关。此外,提出了统一神经核(UNK)方法,描述学习动态并证明其有效性。
完成下面两步后,将自动完成登录并继续当前操作。