本文介绍多个大模型评测基准:ARB涵盖数理化生法高难推理题,GPT-4等难题得分低于50%,并提出评分表评估法;另有研究测试Bard多模态能力、PUZZLEQA谜题生成、视觉语言模型概念理解、CLIP特征相关性、俄语医学理解、长篇推理故事及多语言词形探测。研究显示大模型推理仍逊于人类,资源可用性显著影响多语言性能,SuperCLUE表明现有评估难以反映用户偏好。
完成下面两步后,将自动完成登录并继续当前操作。