百度于11月11日开源ERNIE-4.5-VL-28B-A3B-Thinking模型,具备3B激活参数,性能媲美顶级大模型。该模型在视觉语言理解、文档解析和跨模态推理方面表现优异,支持“图像思考”等创新功能,已在多个平台发布,适合商业使用。
谷歌开源的生成性人工智能模型Gemma 3具备视觉语言理解、长上下文处理和多语言能力。新特性包括减少的KV缓存内存、自定义Sigmoid损失的视觉编码器,以及改进的图像处理算法。Gemma 3支持高达128k的上下文,性能优于前代模型,适合单个消费者GPU或TPU主机。
Kimi团队发布的Kimi-VL是一个高效的开源多模态模型,采用混合专家架构和长上下文窗口,显著提升视觉语言理解能力,超越多个闭源模型,标志着开源领域的重要突破。
Helix是首款高速控制的人形机器人,能够灵活应对复杂家庭场景。通过结合快慢系统,Helix实现高效的视觉语言理解与动作执行,支持自然语言指令,提升操作的泛化能力和效率。
本文探讨了逆向视觉问答(iVQA)及其在视觉语言理解中的应用。提出了一种能够生成多样化且相关问题的iVQA模型,并研究了基于知识的视觉问答(KVQA),提出了新颖的集成方法(MAIL),在多个数据集上表现优异。结合任务特定模型与预训练语言模型,研究表明可以有效提升视觉问答的性能。
本研究介绍了视觉语言理解评估基准VLUE,评估VLP模型的泛化能力和效率。研究发现,VLP模型在处理未见文化领域图像时存在泛化差距,并提出了CafeBERT模型。此外,探讨了视频与语言理解模型的多任务能力,强调文化对理解的影响,提出了CFLUE和VALSE基准以评估语言模型的能力和文化多样性。
完成下面两步后,将自动完成登录并继续当前操作。