量子位
·
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
KRIS-Bench项目评测图像编辑模型的推理能力，发现所有模型在程序性推理上表现不佳。该项目从事实性、概念性和程序性知识三个层面进行系统评估，涵盖多种编辑任务。测试结果显示，闭源模型优于开源模型，尤其在深层推理能力上明显不足。团队希望推动AI向具备人类认知能力发展。
🎯
关键要点
- KRIS-Bench项目评测图像编辑模型的推理能力，发现所有模型在程序性推理上表现不佳。
- 该项目从事实性、概念性和程序性知识三个层面进行系统评估，涵盖多种编辑任务。
- 闭源模型在深层推理能力上明显优于开源模型。
- KRIS-Bench通过四个维度对编辑输出进行自动化评估，包括视觉一致性、视觉质量、指令跟随和知识合理性。
- 评估了10款模型，闭源旗舰GPT-Image-1表现最佳，开源模型BAGEL-Think有所进步，但仍落后于闭源模型。
- 所有模型在程序性推理和多步骤合成任务上普遍失分，显示出深层推理能力的不足。
- 团队希望推动AI向具备人类认知能力发展，未来编辑将涉及更复杂的知识与推理。
❓
延伸问答
KRIS-Bench项目的主要目标是什么？
KRIS-Bench项目旨在系统评测图像编辑模型的推理能力，特别是在程序性推理方面的表现。
KRIS-Bench如何评估图像编辑模型的推理能力？
KRIS-Bench从事实性、概念性和程序性知识三个层面进行评估，并细化出多个推理维度和编辑任务。
闭源模型和开源模型在推理能力上有什么区别？
闭源模型在深层推理能力上明显优于开源模型，尤其是在知识合理性方面表现更佳。
KRIS-Bench使用了哪些评估指标？
KRIS-Bench使用视觉一致性、视觉质量、指令跟随和知识合理性四个维度对编辑输出进行评估。
所有模型在程序性推理方面的表现如何？
所有模型在程序性推理和多步骤合成任务上普遍失分，显示出深层推理能力的不足。
未来KRIS-Bench项目的期望是什么？
团队希望推动AI向具备人类认知能力发展，使图像编辑不仅限于简单的操作，而是涉及更复杂的知识与推理。
🏷️
标签
➡️
