挑战 LLMs 的推理能力：揭示 LLMs 中的认知深度的基准测试

该研究引入了一种新的评估范式来评估大型语言模型的认知能力，解决了现有基准测试中的关键缺陷，并能够有效区分模型之间的能力差异。研究结果显示，GPT-4的性能比GPT3-5高十倍，揭示了数学模型的训练和评估方法的根本缺陷。研究呼吁在评估语言模型时进行范式转变，并对人工通用智能的讨论做出了贡献。通过推广类似的评估方法，旨在更准确地评估语言模型的认知能力。