状态空间模型是动态系统的准确高效神经算子
原文中文,约700字,阅读约需2分钟。发表于: 。本研究解决了现有物理信息机器学习模型在动态系统建模中的长时间积分和长程依赖等挑战。论文提出了一种名为Mamba的状态空间模型,通过重新参数化技术提高了计算效率,并在插值和外推任务中显示出优越的表现。Mamba在计算成本最低的情况下展现了卓越的外推能力,显示出其在科学机器学习领域的潜力。
序列建模是跨多个领域的关键领域,转换器取代了循环神经网络和长短时记忆网络,但仍面临注意力复杂度和归纳偏差的挑战。状态空间模型成为可替代选择,有不同应用于视觉、语言、医疗、化学、推荐系统和时间序列分析等领域。SSMs在各种时间序列数据集上表现良好。