本研究探讨了深度正则化的ResNet和Transformer中的神经崩溃现象，发现经过训练的全局最优解接近崩溃状态，且随着网络深度增加，这种近似更加紧密。这一发现为深度模型的应用提供了理论支持，并在计算机视觉和语言数据集上进行了验证。

本研究提出了一个权重印记框架，包括生成、归一化和聚合三个部分，首次揭示神经崩溃现象与新数据表示的多重代理之间的关系，性能提升可达4%。

本研究探讨了深度神经网络中的“神经崩溃”现象，指出低秩偏差通过正则化导致不理想的解决结构，并强调损失表面的高退化性对深度学习模型和优化算法的重要影响。

本研究分析了至少包含两个线性层的神经网络，解决了深度神经网络收敛时的神经崩溃问题。结果显示，使用带权重衰减的梯度下降训练可以普遍避免神经崩溃，为理解神经网络训练提供了新视角。

作者观察到深度神经网络训练中的神经崩溃现象，并提供了解决方案。作者研究了调整超参数来改善优化景观的可能性，并在实际网络框架上验证了理论发现。

本文通过使用剩余雅可比矩阵对ResNet架构进行实证研究，揭示了Residual Alignment (RA)的四个特征。RA在泛化良好的模型中始终存在，但一旦跳跃连接被移除，RA将不再出现。该现象揭示了ResNet的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。

本研究使用PCA研究了ResNet-18在CIFAR-10上的学习表示对分类器性能的影响。发现20%的中间特征空间方差即可实现高精度分类，前100个主成分决定了k-NN和NCC分类器的性能。提供了估计DNN中神经崩溃的方法。

研究发现深度神经网络中的神经崩溃现象主要由平均梯度外积（AGOP）引起，AGOP在随机初始化的神经网络中会导致神经崩溃。

本研究使用PCA研究了在CIFAR-10上训练的ResNet-18的逐层学习表示对分类器性能的影响。研究发现，20%的中间特征空间方差即可实现高精度分类。研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。研究还展示了利用几个代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。

本文研究了深度神经网络训练中的神经崩溃现象，发现神经崩溃解决方案是唯一的全局极小值。作者还研究了调整超参数来改善优化景观的可能性，并在实际网络框架上验证了理论发现。

Fair Collapse（FaCe）是一种新方法，通过测量预训练模型中神经崩溃的程度来进行传递性估计。该方法包括方差崩溃项和类公平度项，实验结果表明在不同任务上取得了最先进的性能，证明了该方法的有效性和泛化能力。

本研究使用PCA研究ResNet-18在CIFAR-10上的逐层学习表示对分类器性能的影响。研究发现，20%的中间特征空间方差即可实现高精度分类，前100个主成分完全决定了k-NN和NCC分类器的性能。研究还提供了中间神经崩溃相关现象的部分证据，并展示了利用代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。