本研究探讨了视觉自回归（VAR）变换器的基本极限，表明单头VAR变换器在图像生成方面具有通用性，并提出了提高模型效用的重要设计原则。VAR变换器在图像生成中表现优异，超越了以往所有方法。

本研究探讨了视觉自回归(VAR)模型的表现能力及其容量限制，提出新的电路复杂性界限，表明VAR模型可被均匀的$ ext{TC}^0$阈值电路模拟，强调其表现力的局限性，为未来模型架构开发提供指导。

谷歌与MIT何恺明团队提出Fluid模型，通过连续token和随机生成顺序提升视觉自回归模型的效率。该模型在MS-COCO和GenEval测试中表现优异，展示了良好的可扩展性和视觉大模型的潜力。

该文综述视觉自回归与自监督建模进展：提出语义感知自回归图像建模，按补丁特征相似性排序并预测补丁特征，在分类、检测、分割任务上表现优异；SAIM采用随机排列与并行编解码，ImageNet-1K达83.9%；JAM融合文本与图像生成模型实现多模态输出；此外还涉及冻结影像模型加轻量Adapter提升视频行为识别、InternVL扩展至60亿参数并对齐大语言模型、MIM数据规模研究、MAE预训练-微调取得新最优、大模型增强传统视觉模型、无Trimap端到端抠图，以及无需语言数据的“视觉句子”顺序建模。