模型无关系统辨识的上下文学习
原文中文,约300字,阅读约需1分钟。发表于: 。传统的系统辨识方法采用给定的输入 / 输出序列和现有的物理知识估计未知动力系统的模型。本文提出了一种新的系统辨识方法,通过预训练一个元模型来隐式表示一个类别的动力系统的主要特征,并利用 Transformer 架构实现单步预测和多步仿真任务,为系统辨识研究开辟了新的方向。
本文介绍了大型语言模型在上下文学习中的递归学习能力,即元上下文学习。作者以两个理想化的领域为例,展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识,并修改其上下文学习策略。最后,作者通过真实世界回归问题的基准测试发现,元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境,可以提高大家对上下文学习的理解,为大型语言模型的应用打下基础。