REBUS: 理解符号的稳健评估基准
内容提要
本文介绍多个大模型评测基准：ARB涵盖数理化生法高难推理题，GPT-4等难题得分低于50%，并提出评分表评估法；另有研究测试Bard多模态能力、PUZZLEQA谜题生成、视觉语言模型概念理解、CLIP特征相关性、俄语医学理解、长篇推理故事及多语言词形探测。研究显示大模型推理仍逊于人类，资源可用性显著影响多语言性能，SuperCLUE表明现有评估难以反映用户偏好。
延伸解读
高难度基准揭示模型推理短板
ARB基准涵盖数学、物理、生物、化学和法律等领域的进阶推理题，GPT-4和Claude在较高难度任务上得分远低于50%。这表明尽管大模型在常规测试中表现优异，但面对需要高级符号推理和领域知识的复杂问题时，能力仍有明显不足。该基准的推出也反映了现有评测因模型得分饱和而逐渐失效的现状。
多模态能力评估呈现不均衡
对Bard的64项视觉挑战显示，它能借助深度学习模型识别复杂图像中的文本，却无法重绘ASCII艺术或解析简单井字棋网格，且更倾向于凭直觉猜测线索。视觉语言模型在概念理解测试中大多表现不佳，但交叉注意力机制有助于学习概念理解。这些发现说明多模态能力发展不均衡，评估需覆盖多样化的任务类型。
推理差距与评估方法改进
长篇神秘故事基准测试中，GPT-4正确率为28%，人类为47%，显示大模型推理能力仍显著落后于人类。为改进自动评估，ARB引入基于评分表的方法，让GPT-4评分自己的中间推理步骤，人工评估与GPT-4评分呈现有希望的一致性。SuperCLUE则指出，现有评估的精确性不足以反映用户偏好，但GPT-4可可靠地自动评估中文开放性问题的用户偏好。
多语言性能受资源可用性影响
对mBERT、XLM-R和GPT-3的多语言评估发现，资源可用性对模型性能有重要影响，且资源可用性、语言家族和脚本类型之间存在复杂关系。词形探测研究还发现，前缀上下文比后缀上下文持有更多相关预测信息。这些结果提示，在模型选择和部署时需考虑语言资源条件，低资源语言的性能可能明显受限。
Q&A
ARB基准测试主要评估大模型在哪些领域的推理能力？
ARB基准测试涵盖数学、物理、生物、化学和法律领域的高级推理问题，其中数学和物理子集需要高级符号推理和领域知识。
GPT-4和Claude在ARB基准上的表现如何？
现有模型如GPT-4和Claude在ARB较高难度任务上的得分远低于50%，表明它们尚未达到专家水平。
研究如何评估大模型在ARB上的推理步骤？
研究引入了一种基于评分表的评估方法，允许GPT-4评分自己的中间推理步骤，并且人工评估与GPT-4评分之间存在有希望的一致性。
Google Bard在多模态能力测试中表现出哪些优势和不足？
Bard在确定图像线索时倾向于直觉猜测，并使用深度学习模型识别复杂图像中的文本；但它无法重新绘制ASCII艺术或解析简单的井字棋网格。
大型语言模型在解决和生成NPR谜题方面表现如何？
大型语言模型可以解决PUZZLEQA谜题，但在生成谜题方面表现不佳，需要未来研究改进。
视觉语言模型在概念理解方面存在什么困难？
大多数视觉语言模型难以展示出概念理解，但交叉注意力可以帮助学习概念理解，并且一种新的微调技术可以奖励三个概念理解措施。
CLIP模型在处理词语时有什么特点？
CLIP表现类似于词袋模型，在名词和动词上表现更好，但在处理具体词语时会出现混淆。
多语言语言模型的性能受什么因素影响？
资源可用性对模型性能有重要影响，并且资源可用性、语言家族和脚本类型之间存在复杂关系。
SuperCLUE基准揭示了现有中文评估的什么不足？
现有评估模型性能的精确性不足以反映用户偏好，而GPT-4可以可靠地自动评估用户对中文开放性问题的偏好。
