研究利用凸优化和稀疏恢复模型改进神经网络训练,专注于分段线性激活函数的两层网络。证明这些网络可以表示为包含稀疏性正则化项的有限维凸规划问题,类似于Lasso。数值实验表明,凸模型比传统非凸方法更优,对优化器的超参数不敏感。
本研究证明了时间编码方案的前馈脉冲网络的输入-输出关系几乎任何地方都是可微的,并且在变量转换后是分段线性的。与基于速率的脉冲网络不同,所提出的网络的脉冲更稀疏,且行为不能由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
本研究证明了时间编码方案的前馈脉冲网络的输入-输出关系几乎任何地方都是可微的,并且在变量转换后是分段线性的。通过对项独立MNIST任务的训练,证明了训练人工神经网络的方法可以应用于训练这种脉冲网络。与基于速率的脉冲网络不同,我们提出的网络的脉冲更稀疏,行为不能由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
完成下面两步后,将自动完成登录并继续当前操作。