大型语言模型在定量推理和知识基准测试中表现出色，但许多基准测试由于LLMs得分过高而失去效用。引入了一个新的基准测试ARB，包含数学、物理、生物、化学和法律领域的问题，更具挑战性。评估了GPT-4和Claude在ARB上的表现，发现得分远低于50％。引入了基于评分表的评估方法，允许GPT-4评分自己的中间推理步骤。对ARB的符号子集进行了人工评估，发现与GPT-4评分存在一致性。