该文综述多个中文大模型评测基准,包括MSQA、CMMLU以及法律、传统汉语、编程教育、医学和SuperCLUE等。结果显示,LLM在专业领域表现有限,多数准确率不足50%,与ChatGPT仍有差距,需改进训练与评估框架。
搜狗创始人王小川的百川智能发布了中文大模型Baichuan 3,超越了GPT-4,具有强大的中文语言处理能力。百川智能开源并提供免费服务,计划加快技术向应用场景的转化。
该文综述了C-Eval、FinEval、CLEVA、RoleEval、CMMLU、SciEval、ZhuJiu、M3KE等多个中文大模型评估基准,覆盖通用、金融、科学及角色知识等领域。结果显示GPT-4多数领先,但各模型整体准确率仍偏低,中文大模型提升空间显著。
该文汇总了CMMMU、CMMLU、MMMU、ArcMMLU、ZhuJiu、M3KE、SuperCLUE、CMExam、MM-BigBench等多个中文大模型评测基准,覆盖多学科、多模态及医学、图书情报等领域,评估主流大模型的知识与推理能力。结果显示,即使GPT-4V等先进模型准确率仍有限,多数模型表现不足,表明中文大模型仍有较大提升空间。
该文综述了多个多模态与中文大模型评测基准:MMMU包含1.15万道大学级跨学科多模态题,GPT-4V准确率仅56%;CMMLU、MME、MM-BigBench、ArcMMLU、CMB、M3Exam、M3KE、CMExam分别覆盖中文学科、多模态、图书情报、医学及考试等场景。结果表明,现有模型在多语言、多模态及专业领域仍存在明显差距,亟需改进。
完成下面两步后,将自动完成登录并继续当前操作。