SURE-VQA:医学视觉问答任务中鲁棒性评估的系统理解
📝
内容提要
本研究解决了现有医学视觉问答任务中对模型鲁棒性评估的不足,提出了名为SURE-VQA的新框架,强调需在真实分布变化下进行评估,并利用大型语言模型进行语义分析。研究结果显示,一些不依赖图像数据的基线表现良好,同时确定了LoRA方法在提升鲁棒性方面的优越性,但并没有单一方法在鲁棒性上持续优于其他方法。
➡️
本研究解决了现有医学视觉问答任务中对模型鲁棒性评估的不足,提出了名为SURE-VQA的新框架,强调需在真实分布变化下进行评估,并利用大型语言模型进行语义分析。研究结果显示,一些不依赖图像数据的基线表现良好,同时确定了LoRA方法在提升鲁棒性方面的优越性,但并没有单一方法在鲁棒性上持续优于其他方法。