复旦大学、香港大学和中国科学院的研究团队提出了一种基于语义记忆的动态神经网络设计方案,使用忆阻器实现。该设计在ResNet和PointNet++上验证,准确度与软件相当,计算预算和能耗分别减少了48.1%和15.9%。这种设计受到大脑的启发,能够将输入与过去的经验联系起来,并实现低能耗高效运算。研究为未来模拟大脑和计算资源的自适应分配提供了启示。
本研究探讨了基于突触可塑性的元学习算法和动态神经网络架构,旨在解决人工神经网络中的灾难性遗忘问题,提升持续学习能力。研究强调了突触可塑性在终身学习中的重要性,并提出了新的学习方法以促进人工智能的发展。
本文介绍了动态神经网络(DSNN)和非自回归生成(NAR)模型的研究进展,强调了DSNN在自动语音识别中的应用及其在硬件资源限制下的优势。同时,探讨了NAR模型在机器翻译等领域的潜力,提出了基于BERT的非自回归文本生成模型,显示出在速度和性能上的优势。
本文研究了序列监督学习中的灾难性遗忘和容量饱和问题,提出了基于课程的评估标准和两种网络模型(Gradient Episodic Memory和Net2Net)。研究表明,动态生长的神经网络在增量学习中优于静态网络,通过上下文依赖的门控信号和任务特定调制参数,有效减轻遗忘现象,提升顺序学习能力。
完成下面两步后,将自动完成登录并继续当前操作。