小型门控递归单元用于持续学习

本研究旨在解决递归神经网络在有限内存和计算能力设备上的持续学习能力不足的问题。我们提出了一种新的门控递归单元变体——小型递归单元（MiRU），通过替换传统门控机制来简化网络结构，从而显著降低计算成本和内存需求。研究发现，MiRU不仅在多任务学习中性能稳定，而且训练速度提升2.90倍，参数使用减少2.88倍，适用于边缘设备应用。