表征学习是深度学习中的概念，通过预训练特征提取器将原始数据转换为低维特征，降低对数据和计算能力的需求。常见的特征提取方法包括视觉、光流、音频和文本。Masked Autoencoder (MAE)是一种前沿的表征学习模型，通过遮盖输入图像的随机块进行重建，可以高效地训练大型模型。MAE还可以扩展到视频领域。使用预训练模型可以在自己的任务上获得更好的效果。