将 LLaMA 解码器调整为视觉 Transformer

BriefGPT - AI 论文速递 ·

我们提出了一种自我监督学习框架，称为LC-MAE，能够利用全局上下文理解视觉表示，减少输入的空间冗余。LC-MAE在ImageNet-1K上使用ViT-B实现了84.2%的top-1准确率，比基准模型提高了0.6%。在语义分割和细粒度视觉分类任务中表现出色，并在鲁棒性评估指标上取得了优异结果。

LC-MAE llama transformer 全局上下文准确率自我监督学习框架视觉表示解码器

原文中文，约300字，阅读约需1分钟。