在短视频和社交媒体时代,创作者通过隐喻表达深层意涵。快手与科研机构合作,提出隐喻视频理解基准MetaphorVU,以提升多模态大模型的隐喻理解能力。研究发现现有模型在跨域映射上存在不足,导致理解失败。为此,团队开发了MetaphorBoost,通过隐喻知识图谱增强模型理解能力,取得显著提升。这项研究为多模态理解提供了新的评测标准和增强路径。
中之杰智能的OBF智能工厂解决方案在2026信息技术应用创新发展大会上获得工信部认证,成为1219个方案中的典型案例。该方案结合多模态大模型和智能控制模型,打造德沃克X-Agent工业智能体,实现工厂智能化管理和自主协作。
字节推出了开源视频生成与编辑框架Bernini,强调“先理解再生成”。该框架利用多模态大模型进行语义理解,并通过扩散模型实现高质量渲染,解决视频编辑中的一致性和自然性问题。Bernini支持多种编辑选项,如天气、风格和焦点,能够处理复杂视觉效果,提高创作的可控性和稳定性。
阿里巴巴发布了Qwen3.7-Plus多模态大模型,具备强大的文本和视觉能力,能够理解图片和视频,进行深度推理和自我编程,支持复杂任务的自动化。该模型已通过阿里云百炼提供API服务。
快手发布了多模态大模型Keye-VL-2.0-30B-A3B,具备深度视频理解能力,采用DSA机制处理超长视频上下文,提升推理效率和准确性。该模型能够精准识别视频细节,提供高情商建议,并在复杂任务中展现强大的逻辑推理能力,标志着快手在多模态理解和自动化调度方面的重大进展,推动内容生产智能化。
CX-Mind是首个将胸片诊断转化为可验证推理链的多模态大模型,提升了医学影像AI的推理能力,解决了传统AI模型的黑箱问题。该模型在多个评测中表现优异,尤其在真实世界测试中获得医生高度认可,标志着医学AI从视觉模型向推理模型的转变。
MixAtlas是一种用于多模态大模型中期训练的数据混合优化框架,通过领域分解和小型代理模型提高样本效率和下游泛化能力。它在图像概念和任务监督两个方面分解训练数据,显著提升训练效率,实现3倍的收敛速度和2-5%的性能提升,尤其在文本丰富的基准测试中表现突出。
ReCALL框架通过“诊断-生成-校准”闭环解决了多模态大模型在检索中的范式冲突,提升了细粒度推理能力,显著提高了组合图像检索的性能,标志着大模型向下游任务迁移的新阶段。
浙江大学与阿里巴巴等团队研究发现,多模态大模型在视觉推理中存在“盲目自信”现象,即在图像质量下降时仍保持高置信度。为解决此问题,提出CA-TTS框架,通过置信度校准和资源分配优化推理效果。实验表明,该方法在多个视觉推理基准上显著提升准确率,强调了先感知后推理的重要性。
近年来,多模态大模型的发展使AI从“看懂图像”转向“理解现实”。视觉定位任务要求模型根据自然语言描述在图像中找到目标。PaddleFormers v1.0为开发者提供高效的训练与微调工具,支持多模态任务,通过领域数据微调提升模型在特定任务中的表现,满足行业需求。未来,PaddleFormers将进一步降低多模态模型的训练门槛,推动其在实际业务中的应用。
本文探讨了利用多模态大模型进行发票数据结构化提取的实践经验,旨在实现模型稳定输出可用的JSON格式数据。传统OCR方法在复杂版式下效果不佳,而多模态模型如Gemini和GPT-4o能够有效理解图像和指令。文章介绍了微调和少样本提示的方法,强调数据格式和模型输出准确性的重要性,建议在训练中加入模糊样本,并在系统提示中强调格式要求,以提高模型的可靠性。
多模态大模型(MLLM)能够同时处理文本和图像等多种信息,推动AI向更通用的方向发展。在工业缺陷检测中,MLLM显著减少样本依赖,实现零样本检测,预计到2026年将迎来应用爆发。
智谱AI在港交所申请IPO,年营收达3亿,增速130%。成立6年融资超过83亿,专注于AGI研发,推出多模态大模型,已服务12000家企业。
研究表明,在多模态大模型训练中,样本难度比训练范式更为重要。中兴通讯团队首次通过GRPO-only方法,在视觉推理和感知任务中超越传统的SFT+RL范式,提出了PISM和CMAB两种难度量化策略,显著提升了模型性能,验证了难度感知采样的有效性。
IWR-Bench是一个新基准,用于评估多模态大模型在动态网页重建中的能力。研究表明,GPT-5的得分仅为36.35,显示出其在生成交互逻辑方面的不足。该基准要求模型理解并复现用户操作视频中的网页动态行为,标志着AI在静态网页理解向动态交互理解的重要进展。
智能驾驶正加速向智能化转型,数据处理成为关键。辅助驾驶技术面临效率和场景覆盖挑战。亚马逊云科技通过AD Insight Hub提供解决方案,利用多模态大模型提升标注效率和场景搜索,助力辅助驾驶研发,推动行业向更安全智能的未来发展。
商汤与铁一院合作,运用多模态大模型技术整合铁路勘察设计知识,以提升知识传承与应用效率,解决传统模式下的知识流失问题,推动铁路工程智能化转型。
随着多模态大模型的发展,传统API调用已无法满足复杂交互需求。为此,Model Context Protocol(MCP)应运而生,旨在规范AI模型与客户端应用的交互,提高上下文理解和任务执行效率。微软的卢建晖将于7月23日举办MCP工作坊,帮助初学者掌握MCP的核心概念与搭建技巧。
清华大学团队提出了EscapeCraft,一个用于评估多模态大模型推理能力的3D密室逃脱环境。研究发现,顶级模型如GPT-4o在复杂任务中的逃脱成功率不足50%,凸显了推理过程的重要性。
音频编码器在多模态大模型中至关重要。ICME 2025音频编码器挑战赛吸引了多家知名企业参与,火山引擎凭借其技术团队在多个任务中获胜,展示了强大的音频特征提取能力,推动了音频表征的进步。
完成下面两步后,将自动完成登录并继续当前操作。