ECCV 2024 | 提升GPT-4V、Gemini检测任务性能，你需要这种提示范式
内容提要
浙江大学、上海人工智能实验室和牛津大学联合提出了DetToolChain，一种释放多模态大语言模型检测能力的新提示范式。DetToolChain通过设计视觉提示和检测推理提示，能够让多模态大模型学会精确检测，无需训练。实验证明，DetToolChain在多个任务上表现出优越性能，包括开放词汇检测、描述目标检测、指称表达理解和定向目标检测。
延伸解读
无需训练，直接提升检测性能
DetToolChain 的核心优势在于无需对多模态大模型进行微调或指令调优，仅通过提示工程即可释放其检测能力。这意味着研究者和开发者可以直接利用 GPT-4V、Gemini 等闭源模型的强大视觉理解能力，避免了收集大量高质量指令数据集和微调开源模型的高昂成本。对于实际应用，这降低了检测任务的门槛，尤其适合快速原型验证或资源有限的场景。
视觉提示弥补文本与图像的鸿沟
传统文本提示难以让多模态大模型精确理解空间位置，DetToolChain 通过直接在图像上绘制视觉提示（如区域放大器、空间测量标准、场景图像解析器）来缩小视觉与文本信息之间的差距。例如，叠加尺子和指南针让模型读取坐标而非预测坐标，凸包标记器增强不规则物体的检测。这些设计针对性地解决了 MLLM 在检测任务中常见的幻觉和定位不准问题。
推理提示增强预测框可靠性
检测推理提示通过问题洞察引导、空间关系探索和上下文对象预测，利用常识和空间关系来校验和优化预测框。例如，冲浪板与海洋共现、冲浪者脚附近应有冲浪板，这些知识帮助模型避免明显错误。自验证和辩论等提示方法进一步提升了多轮响应的一致性。这种逐步推理的方式使检测结果更符合物理世界规律，减少了不合理预测。
零样本性能超越微调方法
实验表明，DetToolChain 在开放词汇检测和指称表达理解等任务上，使 GPT-4V 和 Gemini 的性能显著提升，甚至超越了需要微调的方法。在 RefCOCO 数据集上，GPT-4V 基线在 val、test-A 和 test-B 上的性能分别提升了 44.53%、46.11% 和 24.85%。这证明了提示范式在释放 MLLM 检测潜力方面的有效性，为未来研究提供了新方向。
Q&A
DetToolChain是什么？
DetToolChain是一种新提示范式，旨在释放多模态大语言模型的检测能力，无需训练即可实现精确检测。
DetToolChain如何提升多模态大模型的检测能力？
DetToolChain通过设计视觉提示和检测推理提示，帮助模型更好地理解位置信息和空间关系，从而提升检测能力。
DetToolChain在检测任务中表现如何？
DetToolChain在开放词汇检测、描述目标检测、指称表达理解和定向目标检测等任务上表现优越，超越了微调方法。
DetToolChain的工作流程是怎样的？
DetToolChain的工作流程包括格式化输入、分解任务、执行提示和返回最终响应四个步骤。
DetToolChain使用了哪些视觉处理提示？
DetToolChain使用了区域放大器、空间测量标准和场景图像解析器等视觉处理提示，以增强模型的检测能力。
DetToolChain的检测推理提示有什么作用？
检测推理提示通过问题洞察引导、空间关系探索和上下文对象预测，增强了模型的预测框可靠性。
