BriefGPT - AI 论文速递 · 2023-09-18T00:00:00Z 基于遮蔽图像建模的异构生成式知识蒸馏 💡 原文中文，约400字，阅读约需1分钟。 📝 内容提要 本文介绍了视觉 Transformer 和掩蔽的图像建模在计算机视觉领域中的新趋势，提出了一种新的掩蔽策略，称为注意力引导掩蔽 (AttMask)，证明了它在密集的基于蒸馏的 MIM 以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。 🏷️ 标签 Transformer 建模 掩蔽语言模型 注意力引导掩蔽 自监督学习 计算机视觉 阅读原文 生成长图 分享链接 已复制链接
