马斯克的首款多模态大模型来了，GPT-4V又被超越了一次
内容提要
马斯克的xAI推出了Grok-1.5V多模态模型，能处理文本、文档、图表、截图和照片，并在物理世界理解方面表现优秀。Grok-1.5V与其他模型进行了测试对比，并展示了七个示例，包括流程图转换为Python代码、计算卡路里、睡前故事等。xAI还推出了RealWorldQA基准测试，用于评估多模态模型的真实世界空间理解能力。微软推出了MEGAVERSE基准测试，Meta开源了OpenEQA基准数据集。预计2024年大模型在现实世界任务上取得更多进展。
延伸解读
Grok-1.5V 的物理世界理解优势
xAI 强调 Grok-1.5V 在理解物理世界方面表现突出，并在新基准 RealWorldQA 上优于同类产品。该基准包含 700 多张图片，每张配有问题和可验证答案，旨在评估模型的空间理解能力。虽然对人类来说许多示例较简单，但对前沿模型仍具挑战。这表明 Grok-1.5V 在真实场景理解上可能具有独特优势，但需注意评估未使用思维链提示，可能影响结果可比性。
多模态能力展示与实用场景
官方展示了 Grok-1.5V 的七个示例，涵盖流程图转 Python 代码、计算卡路里、根据草图讲睡前故事、解释梗图、表格转 CSV、辨别木材腐朽和解决编程问题。这些示例体现了模型在跨模态理解和生成上的实用性，但均为精选案例，实际性能可能因任务复杂度而异。目前模型尚未完全开放，仅限早期测试者和现有用户。
基准测试竞争与行业趋势
xAI 推出 RealWorldQA 的同时，微软更新了 MEGAVERSE 基准，Meta 开源了 OpenEQA 数据集。这些基准均聚焦于评估 AI 在现实世界任务中的表现，如空间推理、常识知识等。OpenEQA 显示即使 GPT-4V 也难以媲美人类表现，说明当前模型在真实世界理解上仍有局限。2024 年大模型在现实任务上的进展值得关注，但需理性看待基准成绩与实际应用的差距。
Q&A
Grok-1.5V模型的主要功能是什么？
Grok-1.5V模型能够处理文本、文档、图表、截图和照片，并在理解物理世界方面表现优秀。
Grok-1.5V与其他模型相比有什么优势？
Grok-1.5V在RealWorldQA基准测试中表现优于同类产品，尤其在理解物理世界方面能力突出。
Grok-1.5V的开放时间是什么时候？
Grok-1.5V尚未完全开放，但预计很快会提供给早期测试者和现有用户。
Grok-1.5V展示了哪些应用示例？
Grok-1.5V展示了七个示例，包括将流程图转换为Python代码、计算卡路里和讲睡前故事等。
xAI推出的RealWorldQA基准测试有什么目的？
RealWorldQA基准测试旨在评估多模态模型的真实世界空间理解能力。
2024年大模型在现实世界任务上有什么预期？
预计2024年大模型将在现实世界任务上取得更多进展。
