随机傅立叶神经网络中的深度学习无需全局优化
原文中文,约300字,阅读约需1分钟。发表于: 。我们介绍了一种新的训练算法,用于各种利用随机复数指数激活函数的深度神经网络。我们的方法采用马尔可夫链蒙特卡罗采样过程来迭代训练网络层,避免了全局和基于梯度的优化,同时保持误差控制。它始终达到了具有复数指数激活函数的残差网络的理论逼近速率,该速率由网络复杂性确定。此外,它还能够有效学习多尺度和高频特征,生成可解释的参数分布。尽管使用了正弦基函数,但我们在逼近不连续目标函数时没有观察到吉布斯现象。
介绍了一种新的深度神经网络训练算法,使用马尔可夫链蒙特卡罗采样迭代训练网络层,避免全局和基于梯度的优化,能够有效学习多尺度和高频特征,并生成可解释的参数分布。