使用 Transformer 神经过程的上下文学习
原文中文,约500字,阅读约需2分钟。发表于: 。神经过程(NPs)是一类强大的元学习模型,旨在逼近元数据集中每个数据集从中抽样得到的地面真实随机过程的后验预测映射。我们在 NP 中增加了集成其他类似数据集的功能,描述了此范例作为上下文中的上下文学习。标准的 NP 架构(如卷积条件 NP(ConvCNP)或转换器神经过程(TNPs)系列)无法进行上下文中的上下文学习,因为它们只能在单个数据集上进行条件。我们通过开发上下文中的伪标记...
神经过程(NPs)是一种元学习模型,用于逼近元数据集中每个数据集的后验预测映射。研究人员开发了一种名为ICICL-TNP的新型NP架构,可以在上下文中进行上下文学习。实验证明了上下文中的上下文学习的重要性和ICICL-TNP的有效性。