本研究探讨了深度正则化的ResNet和Transformer中的神经崩溃现象，发现经过训练的全局最优解接近崩溃状态，且随着网络深度增加，这种近似更加紧密。这一发现为深度模型的应用提供了理论支持，并在计算机视觉和语言数据集上进行了验证。

本研究提出了一个权重印记框架，包括生成、归一化和聚合三个部分，首次揭示神经崩溃现象与新数据表示的多重代理之间的关系，性能提升可达4%。

本研究探讨了深度神经网络中的“神经崩溃”现象，指出低秩偏差通过正则化导致不理想的解决结构。神经崩溃的原因在于损失表面的高退化性，这一发现对理解深度学习模型及优化算法具有重要意义。

本文探讨了神经网络中的神经崩溃现象，分析了交叉熵损失函数在特征模型中的全局优化景观。研究表明，神经崩溃普遍存在于深度学习中，影响优化和泛化能力。提出无约束层剥模型，证明其在全局最小化时表现出神经崩溃现象，并探讨了批归一化和权重衰减的影响。

本文分析了神经网络中的神经崩溃现象，发现交叉熵损失下特征向量在同类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值。研究表明，数据不平衡的影响随着样本增大而减小，且神经崩溃现象在不同损失函数下均可观察到，实验结果验证了理论分析的有效性。

该论文扩展了神经崩溃理论，探讨其在深度学习中的作用，特别是在类别数量大于特征维度的情况下。研究表明，神经崩溃现象影响模型的泛化和优化能力，并在不平衡数据中同样存在。通过实验证实了理论分析，提出了无约束层剥模型，展示了特征向量的收敛特性及其对抗性攻击的脆弱性。

本文探讨了在线持续学习中的增量类别设置，评估了不同方法在图像分类任务中的表现。研究发现大多数方法存在稳定性和欠拟合问题，但经过调整的基本经验回放方法表现优异。此外，提出了一种基于记忆的表示学习技术，以提高模型的健壮性并适应复杂任务。同时，研究还分析了深度神经网络的神经崩溃现象及其对泛化能力的影响。

研究发现深度神经网络中的神经崩溃现象主要由平均梯度外积（AGOP）引起，AGOP在随机初始化的神经网络中会导致神经崩溃。

本研究使用PCA研究了在CIFAR-10上训练的ResNet-18的逐层学习表示对分类器性能的影响。研究发现，20%的中间特征空间方差即可实现高精度分类。研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。研究还展示了利用几个代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。

本文研究了深度神经网络训练中的神经崩溃现象，发现神经崩溃解决方案是唯一的全局极小值。作者还研究了调整超参数来改善优化景观的可能性，并在实际网络框架上验证了理论发现。

Fair Collapse（FaCe）是一种新方法，通过测量预训练模型中神经崩溃的程度来进行传递性估计。该方法包括方差崩溃项和类公平度项，实验结果表明在不同任务上取得了最先进的性能，证明了该方法的有效性和泛化能力。

本研究使用PCA研究ResNet-18在CIFAR-10上的逐层学习表示对分类器性能的影响。研究发现，20%的中间特征空间方差即可实现高精度分类，前100个主成分完全决定了k-NN和NCC分类器的性能。研究还提供了中间神经崩溃相关现象的部分证据，并展示了利用代理模型来估计DNN中可能开始出现神经崩溃的聪明方法。