本研究提出了ClimateBench-M,旨在解决气候科学中缺乏统一多模态基准的问题。该基准整合了时间序列气候数据、极端天气事件数据和卫星图像数据。研究中的生成方法在天气预测、雷暴预警和作物分割任务中表现出色,为气候科学的人工智能发展提供了新思路。
本文提出了MME-Finance,一个针对金融领域的双语开放式视觉问答基准,旨在解决现有多模态基准无法有效评估金融模型性能的问题。研究表明,金融任务中一些优秀模型在该基准上的表现不佳,强调了金融领域需要特定评估标准。
本文综述大语言模型与视觉语言模型中的幻觉问题,涵盖成因、分类、检测与缓解方法。研究指出训练数据记忆和频率偏好是主要诱因,提出对比学习、交互自我反思、细粒度偏好优化等策略,并构建多模态幻觉检测数据集与基准,实验证明可有效降低幻觉、提升模型可靠性。
该文综述多模态对话系统研究,涵盖基于知识库的对话模型、ChatSpot交互模型、视觉聊天数据集GVC与Grounding-Bench基准、BuboGPT、Kosmos-2、参考游戏对话模型、ChatGPT评估框架、MMBench基准、MUG交互任务及多模态机器翻译,推动多模态理解与交互发展。
该文综述多项AI新颖性研究:提出评估开放世界新颖问题难度的方法及NoveltyTask任务;构建首个统一框架并给出公式化定义;用LDA与KL散度分析机器学习主题演化;提出细粒度实体新颖性检测模型PAT-SND及数据集;发布多模态基准NovelCraft;用自编码器检测高能物理新信号;以自信息衡量专利范围;评估文本特征对荷兰语小说评分的影响。
本文介绍了“感知测试”,这是一个基于真实视频的多模态基准,用于评估人工智能模型的感知能力。该基准设计了37个视频脚本,涵盖空间和时间注释,旨在解决现有基准的局限性,促进对模型的全面评估,推动人工智能的研究与发展。
完成下面两步后,将自动完成登录并继续当前操作。