深度神经网络的固定点:出现、稳定性及应用

📝

内容提要

本研究解决了深度神经网络(DNNs)中的固定点的形成与稳定性问题。文章通过数值和解析结果,展示了在输入与输出向量维度相同的DNN中,固定点的存在及其训练后出现的方式,并应用于多种学习任务。研究表明,DNNs的"heavy-tailed"初始化条件下,随着层数和宽度的变化,固定点的数量呈现非单调变化,为深入理解与应用DNNs提供了新的视角。

🏷️

标签

➡️

继续阅读