本研究解决了深度神经网络（DNNs）中的固定点的形成与稳定性问题。文章通过数值和解析结果，展示了在输入与输出向量维度相同的DNN中，固定点的存在及其训练后出现的方式，并应用于多种学习任务。研究表明，DNNs的"heavy-tailed"初始化条件下，随着层数和宽度的变化，固定点的数量呈现非单调变化，为深入理解与应用DNNs提供了新的视角。

本研究探讨在资源受限的边缘设备上，利用固定点前向梯度进行模型本地适应性训练，以解决深度学习模型的内存消耗问题。实验验证了该方法的可行性，并提出了改进算法以降低内存占用和提高准确性。

深度均衡模型（DEQ）通过求解固定点实现常数内存和简化架构，研究涵盖加速训练、提升稳定性、对抗鲁棒性、多尺度扩展及单调算子理论，并推出TorchDEQ库，在图像分类、语义分割和偏微分方程求解等任务上表现显著。

本文综述深度神经网络量化研究，涵盖固定点、浮点与混合精度方法。FxP-QNet可动态设计量化级别，压缩内存7至10倍，精度损失低于2%。研究比较了整数量化与低精度浮点，提出FPGA混合方案、GPTQ后训练量化及一次性混合精度搜索，在ImageNet上提升ResNet精度。

开发数学方法来表征递归神经网络（RNN）的渐近特性，研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合，开发了固定点分析方法用于RNN记忆状态演进，给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核（NTK）极限。