幻觉不一定有害，新框架用AI的「幻觉」优化图像分割技术

AIxiv专栏报道了一项研究，探讨如何利用大型预训练模型的幻觉来减少对手动提示的依赖。

研究团队开发了ProMaC框架，能够在复杂任务中准确识别目标的位置和形状。

研究专注于通用提示分割任务，提供通用提示而不具体指明每张图片中的目标物体。

大型分割模型在复杂任务中难以获取精确描述，导致模型错误识别不存在的目标。

幻觉现象可以转化为有用的信息源，帮助模型更深入地分析图片内容。

ProMaC框架包括多尺度思维链提示和掩码语义对齐模块，通过循环优化逐渐获得准确的掩码。

多尺度思维链提示模块收集任务相关知识并生成样本特有提示。

视觉对比推理模块消除物体共存偏差，确认有效的样本特有提示。

掩码生成器产生准确的掩码，并通过CLIP评估掩码与目标物体的语义相似性。

研究在伪装动物检测和医学图像检测等任务上进行了实验，验证了ProMaC的有效性。