PReLU:又一个单层解决XOR问题的方案
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了单层神经网络在处理XOR问题时的不足,提出使用参数化修正线性单元(PReLU)激活函数的新方法。研究表明,单层PReLU网络仅用三个可学习参数,在更广泛的学习率下可实现100%的成功率,具有显著的实用价值。
本研究提出了修正线性单元(rectifier)的神经网络在图像分类中的应用,并通过广义化的参数修正线性单元(PReLU)和健壮的初始化方法,能够训练极深层的网络。在ImageNet 2012数据集上,实现了4.94%的top-5测试错误率,相对于ILSVRC 2014的冠军GoogLeNet的6.66%,相对改进26%。这是首次在视觉识别挑战中超越了人类水平表现(5.1%)。