小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

自监督学习使得在无需手动标注数据集的情况下训练神经网络成为可能。通过定义基于数据的预训练任务,自动生成标签并训练编码器以获取表示,这些表示可用于下游任务。常见的预训练任务包括图像补全、旋转预测和对比学习。模型性能评估方法包括线性评估、聚类和可视化。掩码自编码器(MAE)通过掩盖输入的部分补丁进行训练以重建图像,而对比表示学习则通过正负样本的评分函数优化编码器。

CS231n 讲义:自监督学习

Louis Aeilot's Blog Louis Aeilot's Blog · 2026-05-02T00:45:09Z

本研究提出了一种新型多模态掩码自编码器EmbodiedMAE,旨在缩小机器人操控中训练数据与实际任务之间的领域差距。该模型通过学习RGB、深度和点云表示,在DROID-3D数据集上进行训练,实验结果显示其在70个仿真任务和20个现实任务中表现优异,展现出良好的桌面操控应用潜力。

EmbodiedMAE:统一的3D多模态表示用于机器人操控

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-15T00:00:00Z

该研究提出了一种新方法AnCoGen,通过掩码自编码器分析、控制和生成语音信号,实现对说话者身份和音高等属性的精确控制,效果显著。

AnCoGen: Analyzing, Controlling, and Generating Speech through Masked Autoencoders

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-01-09T00:00:00Z

本文探讨了去噪扩散模型在图像生成中的应用,提出了多种提升图像质量和生成性能的方法,包括掩码自编码器、视觉transformer和自监督学习等技术。这些方法在图像修复和分类精度方面表现优异。

生成的表征对齐:训练扩散变换器比你想的更简单

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

本文介绍了一种新方法,利用合成音频数据进行预训练,解决隐私和许可问题。结合掩码自编码器(MAE),无需真实数据即可学习特征。实验表明,该方法在多个音频任务中表现优异,与AudioSet-2M预训练模型相当,甚至在某些情况下超越基于图像的预训练方法。

利用合成模式进行音频预训练

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-01T00:00:00Z

本文介绍了多种基于掩码自编码器(MAE)的创新方法,包括 MaskAlign、SdAE 和 LC-MAE。这些方法通过自监督学习和语义引导策略,显著提升了图像表示能力和分类性能,尤其在 ImageNet 数据集上表现突出。

增强掩模自编码器的伪标记

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-25T00:00:00Z

该文综述了基于掩码自编码器(MAE)的多项视觉自监督研究,涵盖面部交换、视频对应学习、手术视频、多视角视频、图结构数据及数据扩增等方向,均通过遮掩重构提升表示学习性能。

自鉴换脸:基于形状不可知掩蔽自编码器的自监督人脸换脸

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-12T00:00:00Z

图掩码自编码器(GraphMAE)系列研究聚焦图自监督学习,通过掩码重建特征或结构提升模型性能。GraphMAE侧重特征重建,GraphMAE2引入多视角重掩码策略,MGAE随机遮掩边重构,MaskGAE以掩码图建模为前置任务,GiGaMAE协同重构潜在嵌入,HGMAE针对异构图,GCMA结合密度聚类实现端到端图聚类。这些方法在节点分类、链接预测等任务上优于基准。

通过对齐和均匀性重新思考图形遮罩自编码器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-11T00:00:00Z

掩码自编码器(MAE)是自监督视觉预训练的重要方法。本文综述多项改进:MultiMAE实现跨模态多任务预训练;CL-MAE用课程学习逐步增加重建难度;MSMAE以监督方式提升医学图像分类分割;MixMAE、SdAE、CMAE分别从数据扩增、自蒸馏、对比学习角度增强表示;语义引导掩码在ImageNet-1k达84.5%微调准确率。

Task-Customized Masked Autoencoder via Mixture of Cluster-Conditional Experts

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-08T00:00:00Z

本文综述多视角视频自监督学习进展,涵盖交叉视角重构、掩码自编码器、动态加权损失,以及视频哈希、3D人体姿态估计、多目标跟踪、多视图深度估计、驾驶员监控、多视图聚类等方法,并在多个数据集上验证了优越性与鲁棒性。

揭示自我监督在多视角多人关联与跟踪中的作用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-31T00:00:00Z

掩码自编码器(MAE)是一种可扩展的自监督视觉学习框架,通过编码器与轻量解码器重建图像,支持大型模型训练。该技术已扩展至遥感领域,用于SAR与多光谱数据融合、跨传感器图像检索、高光谱与激光雷达联合分类及3D点云预训练,并提升下游任务性能。

跨尺度 MAE: 遥感中多尺度利用的故事

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-29T00:00:00Z

本文综述扩散模型与掩码自编码器结合的视觉表示学习进展,提出以掩码机制替代加性高斯噪声的掩蔽扩散模型,用于自监督预训练,提升下游识别、图像修复与视频分类性能,并探讨其在医学图像分割、半监督分类、脑电信号分析等任务中的优势与设计权衡。

解构用于自监督学习的去噪扩散模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-25T00:00:00Z

该文综述掩码自编码器(MAE)在自监督学习中的发展与应用,涵盖多种变体:SS-MAE用于高光谱与激光雷达数据联合分类,Fus-MAE实现SAR与多光谱数据融合,FG-MAE改进遥感图像重建目标,MetaMAE将掩码重建视为元学习任务,NeRF框架实现多模态感知表示学习,无监督NAS框架以图像重建替代监督目标,CAV-MAE扩展至音视频多模态,CMAE统一对比学习与掩码图像建模。

探索用于遥感中与传感器无关图像检索的掩模自编码器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-15T00:00:00Z

该文综述掩码自编码器(MAE)在多模态与音频领域的扩展:CAV-MAE结合对比学习与掩码建模学习音视频联合表示,在VGGSound上以65.9%取得新SOTA;Audio-MAE用Transformer编解码器以高掩蔽率处理频谱图,在六项音频语音分类任务上领先;此外还有工作将MAE用于语音情感识别、手术视频、视频预训练及理论解释,并验证了数据质量与掩码策略的重要性。

HiCMAE:用于自监督音频 - 视觉情感识别的层次对比遮蔽自编码器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-11T00:00:00Z

该文综述多变量时间序列预测中的多尺度Transformer研究,涵盖MTPNet(不变量嵌入与金字塔网络捕捉多尺度依赖)、MTSMAE(掩码自编码器预训练)、FormerTime(结合特征金字塔提升分类效率)、STMAE(增强时空基线)、MTST(多分支建模多分辨率模式),以及分层多尺度RNN、MMTM多任务解码器、MMM自主框架、TTM轻量预训练和MAGNN自适应图网络;实验均优于先进方法。

HiMTM: 面向长期预测的分层多尺度遮蔽时间序列建模

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-10T00:00:00Z

该文介绍了一种新的无监督学习框架,能够从高维数据中进行学习。该模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估,并且相比于其他无监督学习方法,能够更好地学习到有意义的表示。

无需微调的拓扑 RANSAC 实例验证与检索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-10T00:00:00Z

bioFAME是一种用于多模式生物信号建模的频率感知掩码自编码器。该方法可以在预训练过程中利用多模态信息,并且可以适应不同任务和模态。在单模态时间序列的迁移实验中,该方法相较于之前的最先进方法平均提升了5.5%,并且具有稳健性。

频率感知的多模态预训练生物信号掩码自编码器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码