VILA-U：一个统一的基础模型整合视觉理解与生成

本研究针对传统视觉语言模型在理解和生成视觉内容时模块分离导致的误匹配和复杂性问题，提出了VILA-U模型。该模型通过单一的自回归下一个标记预测框架来整合这两项任务，简化了模型并在视觉语言理解与生成方面达到了接近最先进的性能，显示出其在视觉感知和图像生成上的潜力。