BriefGPT - AI 论文速递
·
为多模态大型语言模型自动生成视觉幻觉测试用例
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究提出VHExpansion方法，通过自动扰动问题、答案和修改图像，扩展多模态大型语言模型的视觉幻觉测试用例。引入对称精度评估指标，解决传统精度在不平衡测试中的偏差。实验显示，微调模型在扩展数据集上能更有效减少视觉幻觉现象。
🎯
关键要点
- 本研究提出VHExpansion方法，解决多模态大型语言模型生成视觉幻觉测试用例依赖人工注释的问题。
- VHExpansion方法通过自动扰动问题、答案和修改图像，扩展了视觉幻觉测试用例。
- 引入对称精度评估指标，有效克服传统精度在不平衡测试情况下的偏差。
- 实验验证了对称精度评估指标在不同数据集上的效果。
- 微调多模态大型语言模型在扩展数据集上能更有效地减轻视觉幻觉现象。
➡️
