大规模自回归图像模型的可扩展预训练
内容提要
该文综述视觉自回归与自监督建模进展：提出语义感知自回归图像建模，按补丁特征相似性排序并预测补丁特征，在分类、检测、分割任务上表现优异；SAIM采用随机排列与并行编解码，ImageNet-1K达83.9%；JAM融合文本与图像生成模型实现多模态输出；此外还涉及冻结影像模型加轻量Adapter提升视频行为识别、InternVL扩展至60亿参数并对齐大语言模型、MIM数据规模研究、MAE预训练-微调取得新最优、大模型增强传统视觉模型、无Trimap端到端抠图，以及无需语言数据的“视觉句子”顺序建模。
延伸解读
语义感知自回归：从语义补丁到非语义补丁
文章提出按补丁特征相似性排序，将自回归建模从语义补丁扩展到非语义补丁，并探索以补丁特征为预测目标。这不同于传统像素级自回归，强调特征层面的预测。实验显示该方法在分类、检测和分割任务上表现优异，说明自回归建模可借助语义排序提升视觉任务性能，为视觉自回归提供新思路。
SAIM：随机排列与并行编解码提升效率
针对自回归模型在视觉领域落后于其他自监督方法的问题，SAIM引入随机排列策略和并行编码-解码训练过程。在ImageNet-1K上达到83.9%的精度，表明随机自回归图像建模能显著提升视觉变换任务性能。这一设计兼顾了自回归的序列建模能力与并行训练的效率，为视觉自监督学习提供了可扩展的方案。
JAM：模块化融合文本与图像生成模型
JAM框架通过模块化方法系统融合现有文本和图像生成模型，并引入高效数据调优策略，实现多模态输出。文章称其为首个明确设计用于混合模态生成的模型，在生成高质量多模态输出方面表现突出。这为集成语言与视觉模态提供了可行路径，但文章未披露具体性能指标，读者需关注其实际生成质量与泛化能力。
MIM数据规模研究：预训练的数据不可知性
基于Coyo-700M数据集的实验发现：训练数据规模较小时，提高模型容量对MIM更有效；强重构目标能增加下游任务容量；大多数情况下MIM预训练是数据不可知的。这些结论为遮蔽图像建模的预训练策略提供了实证参考，提示研究者在数据有限时可优先考虑模型容量与重构目标强度，而非单纯扩大数据。
Q&A
SAIM方法在ImageNet-1K上达到了多少精度？
SAIM在ImageNet-1K视觉变换任务上达到了83.9%的最佳精度。
JAM框架的主要功能是什么？
JAM框架是一种模块化方法，系统融合现有的文本和图像生成模型，能够生成高质量的多模态输出，是首个明确设计用于混合模态生成的模型。
如何提升视频行为识别的性能？
通过添加轻量Adapter并冻结预训练的影像模型，可以提高影像模型的时空推理能力，在四个视频行为识别基准上取得与先前方法相当或更好的性能。
InternVL模型的参数规模是多少？
InternVL模型的参数规模扩展到60亿，并逐步与大型语言模型对齐。
MAE预训练-微调范式有什么优势？
使用自监督MAE技术进行额外预训练阶段来初始化模型，可以扩展模型大小和训练数据集规模，提高基础模型的训练效率以及各种视觉识别任务的性能，并取得了新的最优结果。
无Trimap的端到端抠图方法是什么？
提出了一种基于端到端的自动图像抠图网络，通过注意力机制和预测通用Trimap的方法，在无需辅助输入（如Trimap）的情况下从任意自然图像中估计软前景，可用于图像编辑，在AIM-500数据集上优于现有方法。
