自监督学习使得在无需手动标注数据集的情况下训练神经网络成为可能。通过定义基于数据的预训练任务,自动生成标签并训练编码器以获取表示,这些表示可用于下游任务。常见的预训练任务包括图像补全、旋转预测和对比学习。模型性能评估方法包括线性评估、聚类和可视化。掩码自编码器(MAE)通过掩盖输入的部分补丁进行训练以重建图像,而对比表示学习则通过正负样本的评分函数优化编码器。
本研究提出了一种新型多模态掩码自编码器EmbodiedMAE,旨在缩小机器人操控中训练数据与实际任务之间的领域差距。该模型通过学习RGB、深度和点云表示,在DROID-3D数据集上进行训练,实验结果显示其在70个仿真任务和20个现实任务中表现优异,展现出良好的桌面操控应用潜力。
该研究提出了一种新方法AnCoGen,通过掩码自编码器分析、控制和生成语音信号,实现对说话者身份和音高等属性的精确控制,效果显著。
本文探讨了去噪扩散模型在图像生成中的应用,提出了多种提升图像质量和生成性能的方法,包括掩码自编码器、视觉transformer和自监督学习等技术。这些方法在图像修复和分类精度方面表现优异。
本文介绍了一种新方法,利用合成音频数据进行预训练,解决隐私和许可问题。结合掩码自编码器(MAE),无需真实数据即可学习特征。实验表明,该方法在多个音频任务中表现优异,与AudioSet-2M预训练模型相当,甚至在某些情况下超越基于图像的预训练方法。
本文介绍了多种基于掩码自编码器(MAE)的创新方法,包括 MaskAlign、SdAE 和 LC-MAE。这些方法通过自监督学习和语义引导策略,显著提升了图像表示能力和分类性能,尤其在 ImageNet 数据集上表现突出。
该文综述了基于掩码自编码器(MAE)的多项视觉自监督研究,涵盖面部交换、视频对应学习、手术视频、多视角视频、图结构数据及数据扩增等方向,均通过遮掩重构提升表示学习性能。
图掩码自编码器(GraphMAE)系列研究聚焦图自监督学习,通过掩码重建特征或结构提升模型性能。GraphMAE侧重特征重建,GraphMAE2引入多视角重掩码策略,MGAE随机遮掩边重构,MaskGAE以掩码图建模为前置任务,GiGaMAE协同重构潜在嵌入,HGMAE针对异构图,GCMA结合密度聚类实现端到端图聚类。这些方法在节点分类、链接预测等任务上优于基准。
掩码自编码器(MAE)是自监督视觉预训练的重要方法。本文综述多项改进:MultiMAE实现跨模态多任务预训练;CL-MAE用课程学习逐步增加重建难度;MSMAE以监督方式提升医学图像分类分割;MixMAE、SdAE、CMAE分别从数据扩增、自蒸馏、对比学习角度增强表示;语义引导掩码在ImageNet-1k达84.5%微调准确率。
本文综述多视角视频自监督学习进展,涵盖交叉视角重构、掩码自编码器、动态加权损失,以及视频哈希、3D人体姿态估计、多目标跟踪、多视图深度估计、驾驶员监控、多视图聚类等方法,并在多个数据集上验证了优越性与鲁棒性。
掩码自编码器(MAE)是一种可扩展的自监督视觉学习框架,通过编码器与轻量解码器重建图像,支持大型模型训练。该技术已扩展至遥感领域,用于SAR与多光谱数据融合、跨传感器图像检索、高光谱与激光雷达联合分类及3D点云预训练,并提升下游任务性能。
本文综述扩散模型与掩码自编码器结合的视觉表示学习进展,提出以掩码机制替代加性高斯噪声的掩蔽扩散模型,用于自监督预训练,提升下游识别、图像修复与视频分类性能,并探讨其在医学图像分割、半监督分类、脑电信号分析等任务中的优势与设计权衡。
该文综述掩码自编码器(MAE)在自监督学习中的发展与应用,涵盖多种变体:SS-MAE用于高光谱与激光雷达数据联合分类,Fus-MAE实现SAR与多光谱数据融合,FG-MAE改进遥感图像重建目标,MetaMAE将掩码重建视为元学习任务,NeRF框架实现多模态感知表示学习,无监督NAS框架以图像重建替代监督目标,CAV-MAE扩展至音视频多模态,CMAE统一对比学习与掩码图像建模。
该文综述掩码自编码器(MAE)在多模态与音频领域的扩展:CAV-MAE结合对比学习与掩码建模学习音视频联合表示,在VGGSound上以65.9%取得新SOTA;Audio-MAE用Transformer编解码器以高掩蔽率处理频谱图,在六项音频语音分类任务上领先;此外还有工作将MAE用于语音情感识别、手术视频、视频预训练及理论解释,并验证了数据质量与掩码策略的重要性。
该文综述多变量时间序列预测中的多尺度Transformer研究,涵盖MTPNet(不变量嵌入与金字塔网络捕捉多尺度依赖)、MTSMAE(掩码自编码器预训练)、FormerTime(结合特征金字塔提升分类效率)、STMAE(增强时空基线)、MTST(多分支建模多分辨率模式),以及分层多尺度RNN、MMTM多任务解码器、MMM自主框架、TTM轻量预训练和MAGNN自适应图网络;实验均优于先进方法。
该文介绍了一种新的无监督学习框架,能够从高维数据中进行学习。该模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估,并且相比于其他无监督学习方法,能够更好地学习到有意义的表示。
bioFAME是一种用于多模式生物信号建模的频率感知掩码自编码器。该方法可以在预训练过程中利用多模态信息,并且可以适应不同任务和模态。在单模态时间序列的迁移实验中,该方法相较于之前的最先进方法平均提升了5.5%,并且具有稳健性。
完成下面两步后,将自动完成登录并继续当前操作。