量子位
·
多模态大模型事实正确性评估：o1最强，模型普遍过于自信，最擅长现代建筑/工程技术/科学
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
多模态大模型的事实正确性评估显示，o1模型表现最佳，但普遍过于自信。研究基于ChineseSimpleVQA基准，涵盖2200个问题，分析了模型的视觉识别能力和知识水平。模型在现代建筑和科学领域表现优异，但知识扩展能力有限，错误率较高。评测集经过严格质量控制，确保数据的高质量和安全性。
🎯
关键要点
- 多模态大模型事实正确性评估显示，o1模型表现最佳，但普遍过于自信。
- 研究基于ChineseSimpleVQA基准，涵盖2200个问题，分析了模型的视觉识别能力和知识水平。
- 模型在现代建筑和科学领域表现优异，但知识扩展能力有限，错误率较高。
- 评测集经过严格质量控制，确保数据的高质量和安全性。
- Chinese SimpleVQA采用多跳评估策略，解耦视觉模型知识能力评估步骤。
- 评测集包含2200条高质量问答对，涵盖8个知识类别及56个细分主题。
- 研究团队通过自动验证、难度筛选和人工验证确保数据质量。
- 模型的知识能力随规模提升，且幻觉问题仍是重要挑战。
- o1-preview在识别问题和知识扩展问题上表现最佳，其他模型表现相对较差。
- Chinese SimpleVQA具有持久可用性和易于评估的特点。
➡️
