研究人员通过使用机器生成的指令和多模态模型的支持，改进了大型模型的零样本能力。他们构建了一个新的多模态指令跟随数据集，并使用了多种预训练模型的微调策略。模型在视觉理解任务上表现出与其他模型相当的能力，并为构建先进的通用视觉助手铺平了道路。研究人员还公开了数据集、代码库和模型检查点。