小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Minara于KDD 2026发表“自进化金融操作系统”主题演讲

Minara在KDD 2026大会发表主题演讲,介绍自进化金融操作系统,并作为官方赞助商与阿里巴巴、Meta等同台。其研究论文入选大会Datasets & Benchmarks Track,构建了覆盖区块链等9大领域的评测基准,含3500多道专家审核题目,系统评测31个主流大模型,发现旗舰模型在多步推理场景仍有短板。

Minara于KDD 2026发表“自进化金融操作系统”主题演讲

全球TMT-美通国际 全球TMT-美通国际 · 2026-08-18T02:50:27Z
拒绝「差不多」,电商模型测评迎来「最严厉的父亲」

RealReplicaBench是阿里Accio Work团队推出的电商AI Agent评测基准,通过107个真实商业任务测试模型完成度,所有模型均未及格。它复刻真实工作环境,要求任务结果可被下一环节直接接手,用环境状态验证而非模型自述。该基准反映Agent时代评价标准从知识、推理转向实际完成任务的能力,也展示了团队对AI完成工作的深度理解。

拒绝「差不多」,电商模型测评迎来「最严厉的父亲」

爱范儿 爱范儿 · 2026-08-17T04:10:22Z
LoHoSearch 开源后,搜索智能体评测该往真实任务靠一靠了

美团开源搜索智能体评测基准LoHoSearch,旨在解决现有评测分数饱和、难以区分模型能力的问题。该基准利用知识图谱校准,更贴近实体与关系验证,覆盖长尾查询和拆解结果。文章强调搜索智能体落地需关注基础设施问题,建议团队用真实任务验收,重视错误解释而非总分,作为上线前的试金石。

LoHoSearch 开源后,搜索智能体评测该往真实任务靠一靠了

mongona news mongona news · 2026-07-27T22:38:22Z
AI最尴尬的短板,中国科学院出手了

中科院计算所“知境”团队发布社会心智大模型技术体系,旨在提升AI的情商与信任度。其核心包括SoMBench评测基准(3大维度、17项、71任务)和Zing训练系统,通过FLARE自适应生成新题、OPD防遗忘,使Zing-27B在五项基准上超越GPT-5.5。部署架构Actio按需调用能力,未来应用于家庭看护、多智能体协作等场景,推动社会智能成为AI核心赛道。

AI最尴尬的短板,中国科学院出手了

量子位 量子位 · 2026-07-27T05:00:12Z
世界模型的新用途:不做选手,去当裁判

Uranus是一个新发布的世界模型,旨在解决具身智能行业的评测基准和仿真与现实之间的差距。它通过生成环境反馈来评估机器人模型的表现,提高了评测的效率和准确性。此外,Uranus支持多种机器人硬件,简化了仿真场景的构建。地瓜机器人团队认为,基础设施的建设比开发具身大脑更具挑战性,未来将继续扩展数据量以提升模型能力。

世界模型的新用途:不做选手,去当裁判

量子位 量子位 · 2026-07-03T01:19:18Z
美团 LongCat 团队发布全模态一站式评测基准 UNO-Bench

多模态人工智能正向全模态大模型发展,但评测体系滞后。美团LongCat团队提出UNO-Bench,提供高质量评测基准,有效评估模型的单模态与全模态能力,揭示“组合定律”,推动AI行业发展。

美团 LongCat 团队发布全模态一站式评测基准 UNO-Bench

美团技术团队 美团技术团队 · 2025-11-17T00:00:00Z
美团 LongCat 团队发布 VitaBench:基于复杂生活场景的交互式 Agent 评测基准

美团LongCat团队发布了VitaBench,这是一个针对大模型智能体的评测基准,涵盖外卖、餐饮和旅游等真实场景。VitaBench构建了66个工具的交互环境,量化了推理、工具使用和用户交互的复杂性。研究显示,当前模型在复杂任务中的成功率仅为30%,反映出智能体与实际应用需求之间的差距。该基准旨在推动智能体在真实生活中的研发与应用。

美团 LongCat 团队发布 VitaBench:基于复杂生活场景的交互式 Agent 评测基准

美团技术团队 美团技术团队 · 2025-11-02T00:00:00Z
美团 M17 团队开源 Meeseeks 评测集:揭秘大模型的“听话”能力

近期,AI技术迅速发展,但模型在指令遵循方面表现不一。美团M17团队推出Meeseeks评测基准,专注于评估模型的指令遵循能力。评测结果显示,o3-mini系列模型表现优异,Claude系列紧随其后,而DeepSeek和GPT-4o排名较低。Meeseeks通过细化评测框架和多轮纠错模式,揭示了模型的自我纠错潜力,为未来优化提供了方向。

美团 M17 团队开源 Meeseeks 评测集:揭秘大模型的“听话”能力

美团技术团队 美团技术团队 · 2025-08-29T00:00:00Z

DeepMind创始人哈萨比斯在访谈中表示,Genie 3能够实时生成虚拟世界,推动AGI的发展。他提到智能体在推理和规划能力上仍存在不足,模型表现不一。未来需要更完善的评测基准,以提升AI的整体能力和一致性。

DeepMind哈萨比斯:智能体可以在Genie实时生成的世界里运行

量子位 量子位 · 2025-08-13T07:23:25Z

MMBench-Video是一个新的视频理解评测基准,旨在解决现有基准在长视频和复杂任务评估中的不足。该基准涵盖多种视频类型,采用高质量人工标注,评估模型的时序理解能力。通过对多模态大模型的测试,MMBench-Video提高了评估精度,为视频理解研究提供了重要工具。

突破短视频局限!MMBench 团队构建中长视频开放问答评测基准,全面评估多模态大模型视频理解能力

量子位 量子位 · 2024-10-30T08:56:16Z

北京大学与阿里巴巴联合研发了数学竞赛评测基准Omni-MATH,收录了4428道竞赛级别问题,涵盖33个子领域,分为10个难度级别。排行榜上o1-mini表现最佳,平均分比o1-preview高8%。Omni-MATH特点是可靠的答案验证、清晰合理的难度分类和广泛的题目类型。数据来源包括比赛题目、题解和数学网站Art of Problem Solving。评测集经过细致调研和人工筛选,题解转换成Latex格式并人工检查答案准确性。团队还开发了开源答案验证器Omni-Judge。

北大AI奥数评测,o1-mini比o1-preview分数还高

量子位 量子位 · 2024-09-23T00:51:52Z

本文介绍了评测基准YTSeg和高效的层次分割模型MiniSeg,重点是非结构化的语音内容。还扩展了文本分割概念到实际的“智能章节切割”任务中,包括非结构化内容的分割、生成有意义的片段标题以及模型的潜在实时应用。

从文本分割到智能分章:一个用于视频转录结构化的新型基准测试

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-27T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码