测量人工智能模型的感知能力
内容提要
本文介绍了“感知测试”，这是一个基于真实视频的多模态基准，用于评估人工智能模型的感知能力。该基准设计了37个视频脚本，涵盖空间和时间注释，旨在解决现有基准的局限性，促进对模型的全面评估，推动人工智能的研究与发展。
延伸解读
为何需要新的感知基准
现有基准如Kinetics、Audioset、MOT和VQA各自只针对感知的有限方面：图像基准忽略时间维度，视觉问答侧重高层语义理解，目标跟踪关注低层外观，且很少同时覆盖音频和视觉模态。多模态模型如Perceiver、Flamingo、BEiT-3的评估依赖多个专用数据集，过程缓慢、昂贵且覆盖不全面，难以比较方法。感知测试旨在提供一个更全面的评估基准。
数据集构建与任务设计
感知测试设计了37个视频脚本，每个脚本有不同变体以确保平衡。超过100名众包参与者拍摄了11609个视频，平均时长23秒，内容为简单游戏或日常活动。视频标注了空间和时间注释，包括对象边界框轨迹、点轨迹、动作片段和声音片段。任务涵盖视觉问答、对象跟踪等六类，问题设计注重多样性，例如反事实推理或解释能力。
评估方式与诊断维度
基准包含20%的微调集，模型创建者可选用；剩余80%分为公开验证集和保留测试集，测试集性能只能通过评估服务器获取。评估结果按六个计算任务、领域和推理类型等多维度展示，形成雷达图诊断报告，还可深入子领域如运动、碰撞、计数、动作完成等。这种详细评估有助于识别模型的改进领域。
多样性与未来计划
为确保参与者和场景的多样性，众包参与者来自不同国家、种族和性别，并在每种视频脚本中力求多样代表。基准已公开，排行榜和挑战服务器即将推出。2022年10月23日将在ECCV 2022举办关于通用感知模型的研讨会。未来计划与多模态研究社区合作，增加注释、任务、指标甚至新语言。
Q&A
什么是感知测试，它的目的是什么？
感知测试是一个多模态基准，旨在评估人工智能模型的感知能力，解决现有基准的局限性。
感知测试包含哪些类型的任务？
感知测试包括视觉问答、对象跟踪等多种任务，评估模型在不同方面的能力。
感知测试的数据集是如何构建的？
数据集由37个视频脚本设计而成，涵盖空间和时间注释，确保数据集的平衡性。
感知测试如何确保参与者的多样性？
感知测试考虑了参与者的多样性，确保不同国家、种族和性别的代表性。
感知测试的评估结果如何帮助改进模型？
评估结果涵盖多个维度，帮助识别模型的改进领域，提供详细的技能评估。
感知测试的未来计划是什么？
未来计划与多模态研究社区合作，增加更多注释和任务，并公开发布基准。
