BriefGPT - AI 论文速递
·
MMMU-Pro：更强鲁棒性的多学科多模态理解基准
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
MMMU是一个新的基准，用于评估多模态模型在大规模跨学科任务上的表现。它包括11500个多模态问题，涵盖六个核心学科和30个学科和183个子领域。MMMU侧重于使用领域特定知识进行高级感知和推理，对14个模型进行了评估，结果显示有改进空间。MMMU将推动构建下一代多模态基础模型。
🎯
关键要点
- MMMU是一个新的基准，用于评估多模态模型在跨学科任务上的表现。
- MMMU包括11500个多模态问题，涵盖六个核心学科和183个子领域。
- 这些问题涉及30种高度异质的图像类型，如图表、地图和化学结构。
- MMMU侧重于使用领域特定知识进行高级感知和推理，挑战模型执行专家任务。
- 对14个模型的评估显示，先进的GPT-4V仅达到56%的准确率，表明有改进空间。
- MMMU将推动构建面向专家的下一代多模态基础模型。
🏷️
标签
➡️
