多模态知识智能体基准简介
内容提要
谷歌与Artificial Analysis合作推出MKA多模态知识智能体基准，覆盖10个行业83种职业，包含200项需3至8小时完成的多步骤任务，用于评估智能体处理视觉复杂文件的能力。评分中事实准确性占75%、视觉设计占25%，自动评分与专家一致率达96%。Gemini 4 Carbon质量排名第二，成本仅为最高分模型的六分之一。
延伸解读
基准设计：贴近真实视觉工作
MKA基准由10个行业83种职业的专家共同设计，200项任务均需3至8小时完成，强调多步骤和视觉复杂文件处理。评分中事实准确性占75%，视觉设计占25%，且自动评分与专家一致率达96%。这表明基准试图平衡内容正确性与呈现质量，但视觉设计权重较低，可能更侧重事实核查。
评估机制：统一环境与防泄漏
所有模型在相同开源智能体框架Stirrup中运行，使用相同工具、沙箱和轮次预算，确保公平比较。200项评估集保持私有以防泄漏，另在Hugging Face发布10项公开任务供检查格式。自动评分器基于非谷歌模型，能打开文件、渲染页面、检查公式，与专家评分高度一致，提升了评估的可信度。
模型表现：效率与成本差异显著
技术报告显示，前沿模型在相同任务上效率差异极大，平均使用30至130轮完成每项任务。强感知能力是解题必要条件，移除视觉后模型会尝试补偿但失败。Gemini 4 Carbon质量排名第二，成本仅为最高分模型的六分之一，处于质量与价格帕累托前沿，为关注成本的用户提供了有吸引力的选择。
Q&A
MKA基准是什么？它主要用来评估什么？
MKA（Multimodal Knowledge Agent）是谷歌与Artificial Analysis合作推出的多模态知识智能体基准，用于评估智能体在视觉复杂文件上进行推理、解决真实知识工作任务的能力。
MKA基准包含多少任务？覆盖哪些行业和职业？
MKA包含200项多步骤任务，覆盖10个行业（垂直领域）和83种职业，这些职业的日常工作具有视觉密集的特点。
MKA的任务是如何设计的？评分标准是什么？
每个任务模拟资深专业人士需3至8小时完成的多步骤项目，提供真实提示和多模态输入文件，并配有专家编写的约70项是/否检查评分表。评分权重为事实准确性占75%，视觉设计占25%。
MKA的自动评分与专家评分一致性如何？
基于非谷歌模型的智能体自动评分器会打开每个文件、渲染页面、检查电子表格公式，并对照专家评分表检查工作。当领域专家自行评分时，与自动评分器的一致率达到96%。
Gemini 4 Carbon在MKA基准上的表现如何？
Gemini 4 Carbon在测试模型中质量排名第二，并且完成任务的平均成本仅为最高分模型的六分之一，处于质量与价格的帕累托前沿。
如何访问MKA基准并测试自己的模型？
可以在Artificial Analysis上探索基准并评估模型，所有模型在相同的开源智能体框架Stirrup中运行。此外，Hugging Face上发布了10个公开任务，供任何人检查格式并测试自己的智能体。
