本研究提出了MMEvol框架,通过感知、认知推理和交互进化提升多模态大型语言模型的数据质量,生成复杂多样的图像-文本数据集。在13个视觉-语言任务中,准确率平均提高3.1个百分点,并在九个任务上达到最先进水平。
该文介绍了一种新方法,通过额外的分类器或检测器模型将图像中的隐含概念的几何信息编码到文本域中,以消除这些概念。同时,提出了一个新的图像-文本数据集,用于训练和评估。实验结果表明,该方法能够有效消除隐含概念,相比现有方法有了显著的改进。
该论文构建了数据过滤网络,解决了大训练集上数据筛选的问题,并构建了新的图像-文本数据集,为模型训练提供了高性能数据集。同时,还释放了可从公开数据从头训练高性能数据过滤网络的新的200亿样本数据集,以促进数据集设计的进一步研究。
完成下面两步后,将自动完成登录并继续当前操作。