自监督学习使得在无需手动标注数据集的情况下训练神经网络成为可能。通过定义基于数据的预训练任务，自动生成标签并训练编码器以获取表示，这些表示可用于下游任务。常见的预训练任务包括图像补全、旋转预测和对比学习。模型性能评估方法包括线性评估、聚类和可视化。掩码自编码器（MAE）通过掩盖输入的部分补丁进行训练以重建图像，而对比表示学习则通过正负样本的评分函数优化编码器。

本研究提出了一种新型多模态掩码自编码器EmbodiedMAE，旨在缩小机器人操控中训练数据与实际任务之间的领域差距。该模型通过学习RGB、深度和点云表示，在DROID-3D数据集上进行训练，实验结果显示其在70个仿真任务和20个现实任务中表现优异，展现出良好的桌面操控应用潜力。

该研究提出了一种新方法AnCoGen，通过掩码自编码器分析、控制和生成语音信号，实现对说话者身份和音高等属性的精确控制，效果显著。

本文探讨了去噪扩散模型在图像生成中的应用，提出了多种提升图像质量和生成性能的方法，包括掩码自编码器、视觉transformer和自监督学习等技术。这些方法在图像修复和分类精度方面表现优异。

本文介绍了一种新方法，利用合成音频数据进行预训练，解决隐私和许可问题。结合掩码自编码器（MAE），无需真实数据即可学习特征。实验表明，该方法在多个音频任务中表现优异，与AudioSet-2M预训练模型相当，甚至在某些情况下超越基于图像的预训练方法。

本文介绍了多种基于掩码自编码器（MAE）的创新方法，包括 MaskAlign、SdAE 和 LC-MAE。这些方法通过自监督学习和语义引导策略，显著提升了图像表示能力和分类性能，尤其在 ImageNet 数据集上表现突出。

该研究提出了一种基于掩码自编码器的自监督模型，用于远程感知图像理解。通过尺度增强技术和交叉尺度一致性约束，确保一致且有意义的表示。实验证明该模型在性能上优于其他方法。

本文介绍了一种频率感知的掩码自编码器（bioFAME），用于全面建模多模式生物信号。bioFAME在预训练过程中充分利用多模态信息，适应不同任务和模态。实验结果显示，与之前方法相比，bioFAME在分类准确度上平均提升了5.5％，且具有模态不匹配的稳健性。

该文介绍了一种新的无监督学习框架，能够从高维数据中进行学习。该模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估，并且相比于其他无监督学习方法，能够更好地学习到有意义的表示。

bioFAME是一种用于多模式生物信号建模的频率感知掩码自编码器。该方法可以在预训练过程中利用多模态信息，并且可以适应不同任务和模态。在单模态时间序列的迁移实验中，该方法相较于之前的最先进方法平均提升了5.5％，并且具有稳健性。