大规模自回归图像模型的可扩展预训练

BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z

本论文介绍了AIM，一种基于自回归目标预训练的视觉模型集合。AIM使用20亿图像进行预训练，获得了70亿参数的模型。在ImageNet-1k上，使用冻结的主干，AIM实现了84.0%的准确率。AIM的预训练类似于LLM，无需图像特定策略来稳定规模化训练。