当视觉大模型陷入认知失调，马里兰大学构建了一个幻觉自动生成框架
内容提要
AIxiv专栏促进学术交流，报道超过2000篇内容。马里兰大学研究团队提出AutoHallusion框架，自动生成视觉大模型的幻觉案例，以解决数据集不足的问题。实验结果显示，GPT-4V等模型在新基准数据集上的问答准确率最高为66%。该研究已发表于EMNLP 2024。
关键要点
-
AIxiv专栏促进学术交流，报道超过2000篇内容。
-
马里兰大学研究团队提出AutoHallusion框架，自动生成视觉大模型的幻觉案例。
-
实验结果显示，GPT-4V等模型在新基准数据集上的问答准确率最高为66%。
-
研究团队的共同第一作者为吴曦旸和关天瑞，研究方向涵盖强化学习和计算机视觉。
-
AutoHallusion框架通过插入或删除特定物体来检测大模型的幻觉现象。
-
该框架能够自动生成大量幻觉案例，缓解数据集不足的问题。
-
研究表明，插入物体的幻觉生成策略比删除物体的策略更有效。
-
基于物体存在性的问题更容易引发幻觉。
-
真实世界数据集构建的幻觉案例成功率高于合成数据集。
-
研究成果已发表于EMNLP 2024，论文标题为AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models。
延伸解读
AutoHallusion框架的创新意义
马里兰大学的AutoHallusion框架通过自动生成幻觉案例，解决了大模型在训练中面临的数据集不足问题。这一创新不仅提高了幻觉研究的效率，还为未来的视觉语言模型提供了新的评估标准，推动了相关领域的研究进展。
幻觉生成策略的有效性比较
研究表明，插入物体的幻觉生成策略比删除物体的策略更有效。这一发现提示研究人员在设计实验时，应优先考虑插入异常物体的方式，以更好地探测和理解大模型的幻觉现象。
真实世界数据集的优势
实验结果显示，基于真实世界数据集构建的幻觉案例成功率高于合成数据集。这表明，真实场景中的物体语义关系更加复杂，能够更有效地引发大模型的幻觉，提示未来研究应重视真实数据的应用。
延伸问答
AutoHallusion框架的主要功能是什么？
AutoHallusion框架能够自动生成视觉大模型的幻觉案例，以检测模型在回答时可能出现的幻觉现象。
研究中提到的幻觉生成策略有哪些？
研究中提到的幻觉生成策略包括插入异常物体、插入成对物体和移除相关物体。
GPT-4V模型在新基准数据集上的问答准确率是多少？
GPT-4V模型在新基准数据集上的问答准确率最高为66%。
AutoHallusion框架如何解决数据集不足的问题？
AutoHallusion框架通过自动生成大量幻觉案例，有效缓解当前大模型幻觉研究中数据集缺乏的问题。
研究团队的共同第一作者是谁？
研究团队的共同第一作者是吴曦旸和关天瑞。
研究成果发表在哪个会议上？
研究成果已发表于EMNLP 2024。
