生成式视觉指导调整

本文利用GPT-4生成多模态图文指令序列，优化了新模型LLaVA，并在多个数据集上表现出色。

提出了一种新的数据收集方法，通过异步合成图像和对话进行视觉指导调优，结合ChatGPT和文本到图像生成模型的能力。

推出了细粒度的视觉指令数据集LVIS-Instruct4V，证明高质量的视觉指令数据显著提高了LLaVA-1.5的性能。

提出了LLaVAR模型，通过用包含文字的图像文本对模型进行训练，显著提高了基于文本的视觉问答数据集的性能。

InstructionGPT-4在仅200个示例的小数据集上进行了微调，表现优于原始的MiniGPT-4，表明高质量的微调数据能够有效提高多模态大型语言模型的输出质量。

构建了多样性的Vision-Flan数据集和两阶段指导调优框架，解决了任务多样性和注释错误的挑战，取得了最佳性能。

通过引入大规模的视觉指导优化数据集LRV-Instruction，探究了LMMs的幻觉问题，并成功提高了模型性能。

在生物医学领域提出了新的指导数据集，开发了LLama3-Med模型，在生物医学视觉问答基准测试中实现了最先进的零-shot性能，推动了医疗人工智能的创新。

训练了ALLaVA模型，该模型在12个基准测试中取得了竞争性的性能，展示了高质量数据在构建更高效的LVLMs中的可行性。