ReLU 和加法门控递归神经网络

该研究提出了一种新的机制，通过替换循环门中的乘法和Sigmoid函数为加法和ReLU激活函数，以在更低的计算成本下维持长期记忆用于序列处理。该机制能够捕捉序列数据的长期依赖关系，且在CPU和加密环境下都能显著减少执行时间。实验结果表明，该机制具有可比较的准确性，并支持保护隐私的同态加密人工智能应用。