该工作提出了一种元学习算法,模拟了大型语言模型的能力,通过学习新的视觉概念而无需微调。该方法利用预训练特征提取器,并将元学习重新构造为对已知和未知标签的数据点进行序列建模。在8个元学习基准中,超过或与最先进算法相匹配,无需元训练或微调。
本文介绍了一种元学习算法,通过学习新的视觉概念而无需微调,模拟了大型语言模型的能力。该方法利用预训练特征提取器,并将元学习重新构造为对已知标签和未知标签的数据点进行序列建模。在8个元学习基准中,超过或与最先进算法相匹配,无需元训练或微调。
表征学习是深度学习中的概念,通过预训练特征提取器将原始数据转换为低维特征,降低对数据和计算能力的需求。常见的特征提取方法包括视觉、光流、音频和文本。Masked Autoencoder (MAE)是一种前沿的表征学习模型,通过遮盖输入图像的随机块进行重建,可以高效地训练大型模型。MAE还可以扩展到视频领域。使用预训练模型可以在自己的任务上获得更好的效果。
完成下面两步后,将自动完成登录并继续当前操作。