状态空间模型可以通过梯度下降实现上下文学习

BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

该论文研究了状态空间模型（SSMs）的上下文学习能力，首次从理论上解释了其潜在机制。通过新的权重构造，SSMs无需参数微调即可预测动态系统的下一个状态。研究提供了连续SSMs的显式权重构造和渐近误差界限，并通过离散化生成了预测下一个状态的离散SSM。实验验证了方法的有效性。这是理解SSMs在上下文学习中的初步探索。