该文综述了多个多模态与中文大模型评测基准:MMMU包含1.15万道大学级跨学科多模态题,GPT-4V准确率仅56%;CMMLU、MME、MM-BigBench、ArcMMLU、CMB、M3Exam、M3KE、CMExam分别覆盖中文学科、多模态、图书情报、医学及考试等场景。结果表明,现有模型在多语言、多模态及专业领域仍存在明显差距,亟需改进。
完成下面两步后,将自动完成登录并继续当前操作。