类生物毒蛇:选择性状态空间模型中的时间局部性与生物可行学ä¹
原文中文,约400字,阅读约需1分钟。发表于: 。本文提出了Bio-Inspired Mamba(BIM),一种新颖的在线学习框架,旨在解决训练脉冲神经网络中的时间局部性和生物可行性问题。该方法结合了实时递归学习和类似于脉冲时序依赖可塑性规则的新型学习机制,在语言建模、语音识别和生物医学信号分析中展现出与传统方法竞争的表现,显示出在能效和神经形态硬件实施方面的潜力。
基于Transformer架构的基础模型存在内容导向推理的弱点,通过改进结构状态空间模型(SSMs)参数成为输入的函数,将选择性SSMs集成到简化的神经网络架构中,提出了快速推断速度和线性扩展的模型Mamba,在多个模态上实现了最先进的性能。