Minara在KDD 2026大会发表主题演讲,介绍自进化金融操作系统,并作为官方赞助商与阿里巴巴、Meta等同台。其研究论文入选大会Datasets & Benchmarks Track,构建了覆盖区块链等9大领域的评测基准,含3500多道专家审核题目,系统评测31个主流大模型,发现旗舰模型在多步推理场景仍有短板。
RealReplicaBench是阿里Accio Work团队推出的电商AI Agent评测基准,通过107个真实商业任务测试模型完成度,所有模型均未及格。它复刻真实工作环境,要求任务结果可被下一环节直接接手,用环境状态验证而非模型自述。该基准反映Agent时代评价标准从知识、推理转向实际完成任务的能力,也展示了团队对AI完成工作的深度理解。
美团开源搜索智能体评测基准LoHoSearch,旨在解决现有评测分数饱和、难以区分模型能力的问题。该基准利用知识图谱校准,更贴近实体与关系验证,覆盖长尾查询和拆解结果。文章强调搜索智能体落地需关注基础设施问题,建议团队用真实任务验收,重视错误解释而非总分,作为上线前的试金石。
中科院计算所“知境”团队发布社会心智大模型技术体系,旨在提升AI的情商与信任度。其核心包括SoMBench评测基准(3大维度、17项、71任务)和Zing训练系统,通过FLARE自适应生成新题、OPD防遗忘,使Zing-27B在五项基准上超越GPT-5.5。部署架构Actio按需调用能力,未来应用于家庭看护、多智能体协作等场景,推动社会智能成为AI核心赛道。
Uranus是一个新发布的世界模型,旨在解决具身智能行业的评测基准和仿真与现实之间的差距。它通过生成环境反馈来评估机器人模型的表现,提高了评测的效率和准确性。此外,Uranus支持多种机器人硬件,简化了仿真场景的构建。地瓜机器人团队认为,基础设施的建设比开发具身大脑更具挑战性,未来将继续扩展数据量以提升模型能力。
多模态人工智能正向全模态大模型发展,但评测体系滞后。美团LongCat团队提出UNO-Bench,提供高质量评测基准,有效评估模型的单模态与全模态能力,揭示“组合定律”,推动AI行业发展。
美团LongCat团队发布了VitaBench,这是一个针对大模型智能体的评测基准,涵盖外卖、餐饮和旅游等真实场景。VitaBench构建了66个工具的交互环境,量化了推理、工具使用和用户交互的复杂性。研究显示,当前模型在复杂任务中的成功率仅为30%,反映出智能体与实际应用需求之间的差距。该基准旨在推动智能体在真实生活中的研发与应用。
近期,AI技术迅速发展,但模型在指令遵循方面表现不一。美团M17团队推出Meeseeks评测基准,专注于评估模型的指令遵循能力。评测结果显示,o3-mini系列模型表现优异,Claude系列紧随其后,而DeepSeek和GPT-4o排名较低。Meeseeks通过细化评测框架和多轮纠错模式,揭示了模型的自我纠错潜力,为未来优化提供了方向。
DeepMind创始人哈萨比斯在访谈中表示,Genie 3能够实时生成虚拟世界,推动AGI的发展。他提到智能体在推理和规划能力上仍存在不足,模型表现不一。未来需要更完善的评测基准,以提升AI的整体能力和一致性。
MMBench-Video是一个新的视频理解评测基准,旨在解决现有基准在长视频和复杂任务评估中的不足。该基准涵盖多种视频类型,采用高质量人工标注,评估模型的时序理解能力。通过对多模态大模型的测试,MMBench-Video提高了评估精度,为视频理解研究提供了重要工具。
北京大学与阿里巴巴联合研发了数学竞赛评测基准Omni-MATH,收录了4428道竞赛级别问题,涵盖33个子领域,分为10个难度级别。排行榜上o1-mini表现最佳,平均分比o1-preview高8%。Omni-MATH特点是可靠的答案验证、清晰合理的难度分类和广泛的题目类型。数据来源包括比赛题目、题解和数学网站Art of Problem Solving。评测集经过细致调研和人工筛选,题解转换成Latex格式并人工检查答案准确性。团队还开发了开源答案验证器Omni-Judge。
本文介绍了评测基准YTSeg和高效的层次分割模型MiniSeg,重点是非结构化的语音内容。还扩展了文本分割概念到实际的“智能章节切割”任务中,包括非结构化内容的分割、生成有意义的片段标题以及模型的潜在实时应用。
完成下面两步后,将自动完成登录并继续当前操作。