BriefGPT - AI 论文速递
·
增强掩模自编码器的伪标记
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
我们提出了一种自我监督学习框架，名为LC-MAE，能够利用全局上下文理解视觉表示，提高准确率。在ImageNet-1K上，LC-MAE实现了84.2%的top-1准确率，比基准模型提高了0.6%。在下游任务中也取得了显著性能提升。
🎯
关键要点
- 提出了一种自我监督学习框架，称为长程上下文化蒙版自编码器（LC-MAE）。
- LC-MAE能够有效利用全局上下文理解视觉表示，减少输入的空间冗余。
- 通过学习完整像素和稀疏像素的本地表示，LC-MAE学习到更具区分性的表示。
- 在ImageNet-1K上，LC-MAE使用ViT-B实现了84.2%的top-1准确率，比基准模型提高了0.6%。
- LC-MAE在下游语义分割和细粒度视觉分类任务中取得了显著性能提升。
- 在多个鲁棒性评估指标上，LC-MAE均取得了优异的结果。
➡️
