为多模态大型语言模型自动生成视觉幻觉测试用例
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了多模态大型语言模型（MLLM）生成视觉幻觉（VH）测试用例依赖人工注释的问题。提出的VHExpansion方法通过自动扰动问题和答案以及修改图像，扩展了VH测试用例。此外，引入的对称精度评估指标有效克服了传统精度在不平衡测试情况下的偏差，验证了其在不同数据集上的效果，并表明在扩展数据集上微调MLLM能够更有效地减轻视觉幻觉现象。
本研究提出VHExpansion方法，通过自动扰动问题、答案和修改图像，扩展多模态大型语言模型的视觉幻觉测试用例。引入对称精度评估指标，解决传统精度在不平衡测试中的偏差。实验显示，微调模型在扩展数据集上能更有效减少视觉幻觉现象。
