Prompt自相矛盾，大模型能发现吗？上海交通大学最新研究解密
内容提要
上海交通大学的研究团队提出了一个多模态基准测试，用于评估大模型检测冲突指令的能力。研究人员发现当前的大模型在处理自相矛盾的指令时存在不足，缺乏自我意识和认知能力。为了提高矛盾检测能力，研究人员提出了一种插入式提示方法，可以从外部世界注入认知能力。这项研究将在欧洲计算机视觉大会上发表。
延伸解读
为何指令冲突检测至关重要
文章指出，无法检测指令冲突的AI模型会针对“不应该有答案的问题”生成结果，无论偏向冲突哪一方，都可能引发潜在灾难，影响AI安全性和超级对齐。随着多模态交互深入和上下文增长，用户指令自相矛盾问题日益突出，模型缺乏自我意识和辨别矛盾的能力，性能会受影响。因此，提升矛盾检测能力对AI安全至关重要。
SCI基准与AutoCreate框架
研究团队提出的自相矛盾指令集（SCI）包含2万个冲突指令和8个任务，均匀分布在语言-语言和视觉-语言两种范式中。语言-语言范式涉及上下文与指令的冲突，如规则冲突、对象属性冲突等；视觉-语言范式涵盖OCR、图表、几何和语义冲突。为高效构建SCI，团队设计了AutoCreate框架，利用程序和大型语言模型自动化创建数据集，大大提升了构建速度和内容广度。
CAP方法：简单提示注入认知
针对大模型缺乏评估指令合理性能力的问题，研究人员提出了认知觉醒提示（CAP）。CAP通过在输入中添加一句简单提示，从外部世界注入认知能力，从而提高大模型的矛盾检测能力，并且基本不会产生负面影响。这一发现表明，当前多模态大模型需要更多自我意识和认知能力，以更好地处理复杂指令冲突。
Q&A
上海交通大学的研究主要关注什么问题？
研究主要关注大模型检测自相矛盾指令的能力。
研究团队提出了什么方法来提高矛盾检测能力？
研究团队提出了认知唤醒提示方法（CAP），通过外部注入认知能力来提高矛盾检测能力。
自相矛盾指令集（SCI）包含哪些内容？
SCI包含2万个冲突指令和8个任务，涵盖语言-语言和视觉-语言两种范式。
当前大模型在处理自相矛盾指令时存在哪些不足？
当前大模型缺乏自我意识和对指令合理性的评估能力，导致在处理自相矛盾指令时表现欠佳。
AutoCreate框架的作用是什么？
AutoCreate框架用于自动化数据集创建，提高自相矛盾指令集的构建速度和内容广度。
这项研究将在何时何地发表？
这项研究将在2023年10月的第18届欧洲计算机视觉大会上发表。
