STanHop-Net是一种具有增强记忆能力的多变量时间序列预测模型,使用稀疏学习和存储时间和跨系列表示的Hopfield网络块。它通过堆叠STanHop块来构建多分辨率特征提取,包括两个外部记忆模块用于记忆增强。实验证明该模型在合成和真实世界环境中有效。
本文介绍了一种新的稀疏学习方法:自适应正则化训练(ART),通过逐步增加权重正则化将稠密网络压缩为稀疏网络,并通过最高权重的方式压缩预训练模型的知识。该方法在CIFAR和TinyImageNet上比其他稀疏化方法具有显著的性能提升,并对高量级权重中编码的模式提供了新的认识。
通过改进的端到端极值优化方法,研究人员在稀疏学习问题上平衡了模型性能与计算效率。他们发现,联合压缩和微调脉冲神经网络 (SNNs) 在各种基准数据集和架构上比顺序压缩和微调更好,尤其适用于极限压缩比。
完成下面两步后,将自动完成登录并继续当前操作。