HiPPO-Prophecy:状态空间模型可以在上下文中可证地学习动力系统
📝
内容提要
该论文探讨了状态空间模型 (SSMs) 的上下文学习能力,并首次提出了可能的潜在机制的理论解释。我们引入了一种新的权重构造,使得 SSMs 能够在观察先前状态后预测任何动态系统的下一个状态,无需参数微调。具体而言,我们找到了连续 SSMs 的显式权重构造,并对导数近似提供了一个渐近误差界限。该连续 SSM 的离散化结果得到了一个预测下一个状态的离散...
➡️