本研究探讨了深度正则化的ResNet和Transformer中的神经崩溃现象，发现经过训练的全局最优解接近崩溃状态，且随着网络深度增加，这种近似更加紧密。这一发现为深度模型的应用提供了理论支持，并在计算机视觉和语言数据集上进行了验证。

从最优控制的角度来看，研究了 ResNets 和神经 ODE 的训练方法，并提出了针对分类问题的一种耗散式训练方法，在阶段成本中引入交叉熵的一种变体作为正则化项。基于训练的耗散式方法，证明了经过训练的 ResNet 具有转矩现象。通过对两个螺旋曲线和 MNIST 数据集进行训练，进一步说明了训练过程具有转矩现象，这可以用来找到适合给定分类任务的非常浅的网络。

该论文介绍了DenseNet神经网络架构，通过连接每一层解决了权重消失和特征重用问题，提升了目标识别性能。研究比较了ResNet与DenseNet，提出了DSNet算法，表现优于ResNet且计算资源需求更少。此外，提出了MixNet以结合两者优点，提升参数效率。HyperDenseNet和ConTNet模型在多模式分割和图像分类任务中表现出色。