DeepMind创始人哈萨比斯在访谈中表示，Genie 3能够实时生成虚拟世界，推动AGI的发展。他提到智能体在推理和规划能力上仍存在不足，模型表现不一。未来需要更完善的评测基准，以提升AI的整体能力和一致性。

MMBench-Video是一个新的视频理解评测基准，旨在解决现有基准在长视频和复杂任务评估中的不足。该基准涵盖多种视频类型，采用高质量人工标注，评估模型的时序理解能力。通过对多模态大模型的测试，MMBench-Video提高了评估精度，为视频理解研究提供了重要工具。

北京大学与阿里巴巴联合研发了数学竞赛评测基准Omni-MATH，收录了4428道竞赛级别问题，涵盖33个子领域，分为10个难度级别。排行榜上o1-mini表现最佳，平均分比o1-preview高8%。Omni-MATH特点是可靠的答案验证、清晰合理的难度分类和广泛的题目类型。数据来源包括比赛题目、题解和数学网站Art of Problem Solving。评测集经过细致调研和人工筛选，题解转换成Latex格式并人工检查答案准确性。团队还开发了开源答案验证器Omni-Judge。

该文综述多个中文大模型评测基准，包括MSQA、CMMLU以及法律、传统汉语、编程教育、医学和SuperCLUE等。结果显示，LLM在专业领域表现有限，多数准确率不足50%，与ChatGPT仍有差距，需改进训练与评估框架。

该文综述多模态大模型的数学与视觉推理评测。MathVista评估了11种模型；几何基准显示其推理能力弱于预期；预测推理基准覆盖模式、人类活动与物理交互；MATH包含1.25万道竞赛题；MM-Vet、CLEVR-Math、MMBench、ChessVision等基准揭示模型逻辑不连贯，该领域仍面临重大挑战。

该文综述大语言模型代码生成与评测研究，提出改进程序测试和提升合成代码质量的方法，使HumanEval+通过率分别提高11.77%和4.22%；并介绍Verilog生成基准、EvalPlus、LLMCompiler、高效评测、心理健康基准、EffiBench、LLMCompass及TaskBench等，评估模型在代码、硬件和任务自动化方面的能力。

多模态大模型评测基准不断涌现，如SEED-Bench-2、CMMU、MMMU等，覆盖图像视频理解、多学科知识与推理。评估显示，现有模型在专业领域知识、多语言及复杂多模态推理上仍存明显局限，GPT-4V准确率仅约56%，开源模型差距更大。

该文综述了大型语言模型代码生成评测进展，涵盖EvalPlus、L2CEval、DevEval、F-Eval、NL2Fix、CoDI-Eval等基准，评估语义解析、数学推理、Python编程、类级代码生成及Verilog设计等任务，揭示现有基准局限，指出模型在复杂代码生成和约束遵循上表现不足，并提出改进方向。

该文汇总了CMMMU、CMMLU、MMMU、ArcMMLU、ZhuJiu、M3KE、SuperCLUE、CMExam、MM-BigBench等多个中文大模型评测基准，覆盖多学科、多模态及医学、图书情报等领域，评估主流大模型的知识与推理能力。结果显示，即使GPT-4V等先进模型准确率仍有限，多数模型表现不足，表明中文大模型仍有较大提升空间。