STLLaVA-Med:医学领域的自我训练大型语言与视觉助理
发表于: 。通过引入自我训练的大型语言和视觉助手 (STLLaVA-Med),使用 LVLM 和直接优化原则 (DPO) 自动产生医学视觉指导数据,以提高数据效率,并且证实了在使用只有 9% 的医学数据的情况下,STLLaVA-Med 在三个主要的医学视觉问答 (VQA) 基准测试中具有竞争力的零测性能。
通过引入自我训练的大型语言和视觉助手 (STLLaVA-Med),使用 LVLM 和直接优化原则 (DPO) 自动产生医学视觉指导数据,以提高数据效率,并且证实了在使用只有 9% 的医学数据的情况下,STLLaVA-Med 在三个主要的医学视觉问答 (VQA) 基准测试中具有竞争力的零测性能。