本研究解决了深度神经网络（DNNs）中的固定点的形成与稳定性问题。文章通过数值和解析结果，展示了在输入与输出向量维度相同的DNN中，固定点的存在及其训练后出现的方式，并应用于多种学习任务。研究表明，DNNs的"heavy-tailed"初始化条件下，随着层数和宽度的变化，固定点的数量呈现非单调变化，为深入理解与应用DNNs提供了新的视角。

本研究探讨在资源受限的边缘设备上，利用固定点前向梯度进行模型本地适应性训练，以解决深度学习模型的内存消耗问题。实验验证了该方法的可行性，并提出了改进算法以降低内存占用和提高准确性。

本研究解决了多序列随机逼近（MSSA）的理论局限，提出了无需固定点光滑性假设的单时间尺度分析。结果表明，若所有算子强单调，MSSA的收敛速度为$ ilde{ ext{O}}(K^{-1})$；若主算子非单调，速度为$ ext{O}(K^{-rac{1}{2}})$。这一发现简化了双层优化和通信高效分布式学习的算法及性能保证。

本文介绍了一种基于梯度的后训练量化方法（GPTQ），用于深度神经网络的高效部署。该方法具有鲁棒性，并提出了设计更高效、可扩展的GPTQ方法的准则。同时，还介绍了一种基于重要性的混合精度技术，这些方法和技术共同促进了GPTQ方法和网络性能的改进，为设计可扩展且有效的量化方法提供了新的可能性。

开发数学方法来表征递归神经网络（RNN）的渐近特性，研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合，开发了固定点分析方法用于RNN记忆状态演进，给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核（NTK）极限。