多模态大模型（LMMs）的曙光：初探 GPT-4V(ision)[译]
内容提要
文章探讨GPT-4V的视觉引用提示、时序与视频理解、抽象推理与智商测试、情商及新兴应用。它能解读视频帧顺序、预判事件、完成韦氏与雷文测试、识别情绪并生成合宜回应；在找差异、缺陷检测、安全检查、自助结账、放射报告、车险评估、图像说明与生成、机器人操作及GUI导航中展现潜力，并展望多模态插件、多模态链、自我反思、自洽性与检索增强等方向。
延伸解读
定性探索的定位与局限
文章明确说明其重点在于展示GPT-4V的定性能力，而非提供严格的定量基准测试。作者指出，由于模型的大规模预训练数据不公开，许多现有基准可能已不适用，因此报告中的示例可能经过精心设计的提示才能复现，并不代表模型在所有场景下都能稳定运行。读者应将这些案例视为潜力清单，而非可靠性保证。
视觉引用提示：新的交互方式
GPT-4V能直接理解绘制在图像上的箭头、框、圆圈等视觉标记，并据此执行任务。文章据此提出“视觉引用提示”，即通过编辑图像像素来指定目标，而非仅依赖文本描述。这种方式可与其他图文提示灵活结合，为文档理解、GUI导航等场景提供更自然的交互界面，但文章也指出其空间定位精度仍有提升空间。
少样本学习对复杂任务的关键作用
在读取速度表、解读折线图等困难任务中，GPT-4V的零样本表现不佳，即使使用思维链提示也难以准确回答。而提供两个上下文示例后，模型便能正确推理并给出答案。这表明对于需要多步推理或精细视觉辨别的任务，上下文少样本学习是一种有效的性能提升手段，可作为微调的替代方案。
应用潜力与风险并存
文章展示了GPT-4V在缺陷检测、安全检查、放射报告生成、车险评估等场景的潜力，但也记录了失败案例：如漏检未戴头盔人员、误判轮胎重大损伤、放射报告中遗漏骨折或错判结节位置。作者强调，在医疗等高风险领域，AI生成的报告必须由专业人员审核，模型目前更适合作为辅助工具而非独立决策者。
Q&A
GPT-4V 支持哪些输入方式？
GPT-4V 支持纯文本输入、单个图像-文本对（或仅图像），以及图文交织输入（可包含多张图片和文本混合）。
什么是视觉引用提示？它有什么作用？
视觉引用提示是一种通过直接编辑输入图像的像素空间（如绘制箭头、框或手写文字）来指示模型关注特定区域的方法。它能让用户更细致地引导 GPT-4V，实现更自然的人机交互，并可与文本提示结合使用。
GPT-4V 在视频理解方面表现如何？
GPT-4V 能处理视频帧序列，理解时间顺序（如排序寿司制作步骤）、预判未来事件（如足球点球），并进行时间定位与因果推理（如判断守门员是否挡球）。
GPT-4V 能完成智商测试吗？
是的，GPT-4V 在韦氏成人智力量表和雷文渐进矩阵等智商测试中展现出抽象推理能力，能回答纯文本、符号视觉和自然图像问题，但将题目拆分为交错图文可提高答案可靠性。
GPT-4V 在情商方面有哪些能力？
GPT-4V 能识别面部表情中的情绪，理解视觉内容如何引发情绪，并根据期望情绪生成恰当文本回应，展现出同理心和情绪智慧。
GPT-4V 有哪些新兴应用场景？
包括寻找差异、缺陷检测、安全检查（PPE计数）、自助结账、放射报告生成、汽车保险评估、个性化图像说明、图像生成评估与编辑、机器人操作及GUI导航等。
