单次前向传播的表示学习
内容提要
本文综述多种高效神经网络学习算法：SOLSA实现脉冲网络在线学习，降低内存并提升准确率；ELSA支持稀疏网络的灵活部署；SPL通过语义概率层保证约束一致；SPIRAL提升单层前馈学习的稳健性；Forward-Forward以本地规则逼近皮层学习；此外还有自学习联想存储、自适应集成、SPEDE、LEWEL和SPARTAN，分别改进无标签流、音频任务、表示学习与边缘部署效率。
延伸解读
脉冲网络在线学习的效率突破
SOLSA算法针对脉冲神经网络的在线学习，相比BPTT内存需求降低72%，准确率提升5%，且时间负载更均衡。其增强技术如调度权重更新、提前停止和自适应滤波，提升了收敛速度。与其他非BPTT方法相比，平均准确率高出14.2%。这表明SOLSA在资源受限的在线场景中具有显著优势。
稀疏网络的灵活部署方案
ELSA允许在不同稀疏级别上轻松部署深度网络，预测时只需按预定义掩码清零权重即可提取稀疏模型。它兼容现有稀疏化和训练技术，与独立训练多个稀疏网络相比，灵活部署几乎不带来预测质量下降。这为需要动态调整稀疏度的应用提供了便利。
神经符号约束与稳健学习
SPL通过语义概率层保证预测与符号约束一致，能模拟复杂相关性和硬约束，实现端到端最大似然学习，在结构化输出任务上优于其他神经符号方法。SPIRAL则采用激活脉冲编码和置信度估计，比平均感知机和AROW更稳健、不易过拟合。两者分别从约束满足和泛化能力上推进了学习算法。
生物启发与边缘部署的探索
Forward-Forward采用本地学习规则，训练出的网络表示具有高稀疏度和类别特定合奏，类似皮层处理。SPARTAN通过微调预训练语言模型的记忆，减少存储和计算成本，适用于边缘设备。这些工作展示了从生物机制到实际部署的多样化创新。
Q&A
SOLSA算法在脉冲神经网络在线学习中有哪些优势？
SOLSA相比BPTT内存需求更低，时间工作负载分配更平衡，通过调度权重更新、提前停止训练和自适应突触滤波提高了收敛速度和学习性能。平均学习准确度比非BPTT方法提升14.2%，比BPTT准确度提高5%的同时内存成本减少72%。
ELSA如何实现稀疏网络的灵活部署？
ELSA在预测时根据预定义的掩码将权重清零，即可提取任何稀疏模型，支持不同稀疏级别，且几乎不带来预测质量下降。
SPL语义概率层有什么作用？
SPL可插入任何神经网络，保证预测与预定义的符号约束一致，模拟复杂相关性和硬约束，实现最大似然的端到端学习，在结构化输出任务上效果优于其他神经符号方法，并能满足完美约束条件。
SPIRAL算法相比平均感知机和AROW有什么改进？
SPIRAL采用激活脉冲编码，通过置信度估计和与先前活动的激活偏移进行权重向量自适应更新，实验表明其更稳健且不易过拟合。
Forward-Forward算法与反向传播相比有何特点？
Forward-Forward采用本地学习规则，训练得到的神经网络内部表示可组织成强健的、类别特定的合奏，且由极少量活跃单元组成（高稀疏度），与皮层表示观察相似，在模拟皮层学习方面比反向传播更优秀。
SPARTAN架构如何适用于边缘设备？
SPARTAN基于预训练语言模型，仅微调其记忆，显著减少存储和计算成本，通过分层组织的稀疏内存和其他架构优化，在不损失性能的情况下提高执行效率，适用于存储受限的边缘设备。
