秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用
内容提要
该文综述神经序列学习与持续学习，提出PINning方法，利用随机网络架构和少量连接修改实现突触交互与外部输入协作，高效生成神经序列和工作记忆；并探讨皮层突触可塑性、循环网络任务学习、适应性脉冲神经元、突触模型缓解灾难性遗忘、神经活动形式化模型、互补机制连续学习及高效在线学习算法，回顾RNN、LSTM、BRNN的发展。
延伸解读
PINning方法的核心思路
PINning基于随机网络架构，仅修改少量连接，实现突触交互与外部输入的协作，而非依赖前馈或非对称连接。这种方法能高效产生神经序列和工作记忆，并与细胞分辨率成像数据匹配，暗示神经序列可能从较大结构的神经网络中学习而来。
从灾难性遗忘到持续学习
文章探讨了利用突触模型减轻人工神经网络中的灾难性遗忘，实现多时间尺度的持续学习，并减少经验回放数据库在任务内的遗忘。此外，通过生物学神经元网络中的互补机制，也能在人工网络中实现连续学习，这为克服遗忘提供了不同思路。
脉冲神经网络与在线学习
针对Leaky Integrate and Fire神经元的高效训练算法，能训练SNN学习复杂时空模式，并与忆阻器硬件结合。短期可塑性为脉冲网络提供计算优势，在任务不平衡时甚至胜过传统算法。实时合并本地信息与自上而下信号，为RNN提供了高效在线学习算法，并已在神经形态芯片上验证。
Q&A
PINning方法是什么？它有什么特点？
PINning是Partial In-Network Training的缩写，是一种基于随机网络架构和少量连接修改的方法，实现突触交互和外部输入的协作，而不是前馈或非对称连接，能高效产生神经序列和工作记忆，并能匹配细胞分辨率成像数据。
如何减轻人工神经网络中的灾难性遗忘？
可以使用突触模型来减轻人工神经网络中的灾难性遗忘现象，从而实现多时间尺度的持续学习，并减少经验回放数据库在任务内的遗忘。
循环神经网络有哪些主要模型？
主要的循环神经网络模型包括RNN、LSTM和BRNN等，这些模型在近三十年来被广泛研究和应用。
如何通过深度学习优化递归脉冲神经元网络？
可以通过深度学习将适应性神经元包含在递归脉冲神经元网络（RSNNs）中，使用BPTT算法优化网络结构，实现知识迁移和在少数示例中进行学习。
人工神经网络如何实现连续学习？
通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。
有哪些高效训练脉冲神经网络的算法？
有一种针对Leaky Integrate and Fire神经元的高效训练算法，能够训练SNN学习复杂的时空模式，并且可以与硬件结合，展示基于忆阻器的网络实现。
