该文章介绍了一项关于多模态大语言模型(MLLM)在城市导航中能力的研究。研究团队构建了基于香港真实地理数据的URBANGROUND交互环境,评测了GPT-5.5等模型。结果显示,模型具备局部空间识别和短距离导航能力,但长距离导航和动态环境适应能力不足,难以将局部感知转化为持续可靠的城市行动。
本文系统研究了多模态大语言模型(MLLMs)中的偏好对齐问题,将算法分为离线(如DPO)和在线(在线DPO)两类,发现两者结合可提升性能。作者提出无需额外标注或外部模型的新型数据构建方法“偏差驱动幻觉采样”(BDHS),在多个基准上达到与现有对齐工作相当的竞争力,并分析了偏好数据集构建细节对模型表现的影响。
本文探讨了多模态大语言模型(MLLMs)在自我中心视频理解中的时间意识不足问题,并提出了时间全局策略优化(TGPO)算法。该算法通过对比有序与打乱的视频帧生成奖励信号,以促进时间推理。实验结果显示,TGPO在五个基准测试中显著提升了时间基础和因果一致性,优于以往的强化学习方法。
一项研究评估了12个多模态大语言模型(MLLM)的规划能力,发现它们在不可解任务识别中的正确拒绝率仅为34.7%。研究提出了智能体规划基准(APB),通过五大评估设置揭示了模型在长程规划、工具鲁棒性和校准拒绝等方面的系统性弱点,强调规划能力的重要性。结果显示,模型在面对不可解任务时往往盲目尝试,可能导致资源浪费和有害输出。
本文介绍了空间功能智能基准(SFI-Bench),用于评估多模态大语言模型的高级推理能力。SFI-Bench包含1700多个基于视频的问题,重点评估结构化空间推理和功能推理。实验结果显示,现有模型在整合空间记忆与功能知识方面存在瓶颈,强调了提升多模态智能代理的必要性。
本文介绍了NarrativeTrack,这是评估多模态大语言模型(MLLMs)叙事理解的首个基准。该基准通过细致的实体中心推理,分析视频中的动态叙事。研究发现,现有模型在视觉转变和时间动态中难以稳定追踪实体,揭示了感知基础与时间推理之间的权衡。NarrativeTrack为提升MLLMs的时间基础叙事理解提供了系统框架。
本文通过SO-Bench基准测试评估多模态大语言模型(MLLMs)在视觉结构输出能力上的表现,涵盖UI界面、自然图像、文档和图表等领域。研究发现,现有模型在准确预测符合预定义数据模式的输出方面存在不足,强调了改进多模态结构推理的必要性。
多模态大语言模型(MLLMs)在2D视觉理解方面表现优异,但在3D空间推理上仍存在局限。本文提出了新的监督微调数据集CA-VQA及评估基准,专注于室内场景,展示了其在训练MM-Spatial模型方面的有效性,显著提升了3D空间理解能力,并与专用单目深度估计模型的深度感知能力相当。
研究发现,多模态大语言模型(MLLMs)能够自发形成类似于人类的物体概念表征。通过行为实验和神经影像分析,构建了AI模型的“概念地图”,揭示了AI的认知结构与人类的相似性,推动了机器理解的研究进展。
多模态大语言模型(LLMs)在图像文本提取方面表现优异,但成本高、速度慢且需要强大硬件。传统OCR工具如Tesseract轻便快速,但准确性较低。比较显示,Gemini和Deepseek在准确性上优于传统工具,但复杂性和部署挑战较大。选择应根据具体目标而定。
本研究提出了新的基准KnowRecall和VisRecall,用于评估多模态大语言模型在不同语言间的一致性。KnowRecall关注全球地标的文化和历史知识一致性,VisRecall检验视觉记忆一致性。实验结果显示,现有模型在跨语言一致性方面仍存在困难,需要开发更具多语言和文化意识的模型。
本研究提出了ReGraP数据集和ReGraP-LLaVA模型,旨在解决个性化多模态大语言模型在多对象关系推理中的局限性。该模型通过结合知识图谱和链式问答,显著提升了个性化知识学习和关系推理能力,表现出色。
本研究提出了SeriesBench基准,旨在解决多模态大语言模型在理解复杂叙事剧集方面的不足。该基准包含105部剧集和28个任务,采用新标注方法和叙事推理框架,显示现有模型在叙事理解上仍面临挑战,并提供了提升性能的路径。
该研究评估了多模态大语言模型(MLLM)在提示工程中的表现,比较了七种方法。结果表明,自适应策略结合示例指导与选择性结构推理显著提升了模型的鲁棒性和准确性,为人工智能应用提供了有效的提示工程建议。
本研究提出了COUNTS,一个大规模的OOD数据集,旨在评估目标检测器和多模态大语言模型在分布变化下的泛化能力。研究表明,尽管大模型在标准数据集上表现良好,但在OOD场景中仍存在显著的性能限制。
本研究揭示了对比解码策略在多模态大语言模型中解决幻觉问题的局限性,尽管表面上性能有所提升,但这些提升实际上是误导性因素所致,未能有效抑制幻觉。研究挑战了对比解码的有效性,并为更好的解决方案提供了新方向。
本研究探讨多模态大语言模型(MLLMs)的安全对齐问题,指出现有模型在多模态输入下存在缺口。实验表明,数据分布偏见是主要原因。提出通过微调模型和使用拒绝句替换响应的方法,显著提高安全性,而无需收集恶意数据。
本研究提出了一种新方法SCRAMBLe,旨在提升多模态大语言模型(MLLMs)的组合推理能力。通过训练模型区分正确与错误的图像标题,该方法在多个视觉语言基准测试中显著提高了性能,并对一般问题回答任务产生了积极影响。
文章讨论了多模态大语言模型(MLLM)的发展,特别是在图文生成方面的挑战与进展。上海人工智能实验室提出了OpenING基准,包含5400个真实场景的图文实例,旨在提升模型的生成能力和评测准确性。新评估模型IntJudge通过人机协作标注,显著提高了评测一致性。研究表明,当前模型在图像生成质量上仍需改进,未来将继续扩展数据和优化模型。
本研究通过引入基于规则的强化学习,解决了多模态大语言模型在图形用户界面(GUI)动作预测中的推理能力不足的问题。实验结果显示,该方法在多个任务上显著提高了准确性,尤其在AndroidControl和ScreenSpot-Pro基准测试中,准确率分别提升了15%和6%。
完成下面两步后,将自动完成登录并继续当前操作。