上交联合美团推出了TokenIT和TokenFD,解决了细粒度文本图像理解的挑战。TokenIT是首个token级图文数据集,包含2000万图像和18亿Token-Mask对,支持细粒度对齐。TokenFD实现了视觉与语言的token级对齐,提升了多模态大模型性能,推动文档理解和图文检索的发展。
该文汇总多模态视觉语言研究进展,涵盖跨模态提示调参、短语基础模型、ShareGPT4V大规模图文数据集、组合图像生成、WuDaoMM多模态库、图像描述翻译、ITM鲁棒性基准、跨模态CutMix、视觉常识评估及Crossmodal-3600多语言数据集,推动视觉语言理解与生成。
遥感领域正发展大规模视觉语言模型,但缺乏高质量图文数据集。相关进展包括:RSICap人工标注字幕数据集与RSIEval评测基准、GeoChat多任务对话模型、SkyScript百万级图文对,以及无文本注释训练方法,共同推动遥感多模态任务发展。
完成下面两步后,将自动完成登录并继续当前操作。