用于文本分类的脉冲卷积神经网络
原文中文,约300字,阅读约需1分钟。发表于: 。本研究介绍了一种用于文本分类的 “转换 + 微调” 两步方法,提出了一种将预训练词嵌入编码为脉冲训练的简单而有效的方式,并经验证通过使用替代梯度进行微调后,这些转换后的脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果,并且这样的脉冲神经网络比深度神经网络更鲁棒抵御对抗性攻击。
本研究介绍了一种用于文本分类的“转换+微调”两步方法,将预训练词嵌入编码为脉冲训练的方式,并通过使用替代梯度进行微调。研究结果表明,脉冲神经网络在英文和中文数据集上能够以更少的能量消耗与深度神经网络有可比较的结果,并且比深度神经网络更鲁棒抵御对抗性攻击。