评估大型语言模型的程序执行运行时行为
内容提要
CodeMind 框架评估了九个大型语言模型的代码推理能力，发现它们在简单程序上表现良好，但在复杂逻辑和算术运算方面性能下降。研究提出了 L2CEval 系统，分析了模型在语言到代码生成中的表现及影响因素，并发布了评估框架和模型输出。此外，研究还揭示了改进程序测试能力的方法，并提出了 NPHardEval 基准，以客观评估 LLMs 的推理能力。
延伸解读
代码推理评估的细分维度
CodeMind 框架将代码推理细分为独立执行推理、依赖执行推理和规范推理三个任务。评估发现，模型在简单程序上表现良好，但在涉及复杂逻辑、算术运算、非基本类型和 API 调用的代码上性能下降。此外，规范推理与执行推理相关但不相等，这意味着仅凭测试通过率来排名模型可能无法全面反映其代码推理能力。
语言到代码生成的影响因素
L2CEval 系统评估了大型语言模型在语义解析、数学推理和 Python 编程等任务上的语言到代码生成能力，并分析了模型大小、预训练数据、指令调整和提示方法等因素的影响。研究还衡量了模型的置信度校准，并对输出程序进行人工评估，以识别典型失败模式。这为理解模型的能力和局限提供了更全面的视角。
程序测试与代码可靠性的改进
研究展示了如何利用生成的测试用例改进大型语言模型的程序测试能力，从而提高合成程序的质量。在 HumanEval+ 上，该方法相比 GPT-3.5-turbo 和最新技术分别将代码通过率提高了 11.77% 和 4.22%。同时，RobustAPI 数据集评估显示，即使 GPT-4 生成的代码中也有 62% 存在 API 误用，这提示了代码可靠性和鲁棒性方面仍需关注。
推理能力评估的新基准
NPHardEval 基准旨在客观评估大型语言模型的推理能力，涵盖 900 个算法问题，从 NP-Hard 复杂类别扩展到较低复杂类别，并通过每月更新数据点来减轻过拟合风险。此外，对归纳逻辑编程基准的评估表明，最新的大型语言模型在推理能力上可能不如规模较小的神经程序归纳系统，这提醒我们需要更严谨的评估方法来验证模型的推理能力。
Q&A
大型语言模型在简单程序上的表现如何？
大型语言模型在简单程序上表现良好，能够正确合成控制流构造和输入到输出的推理。
L2CEval系统的主要功能是什么？
L2CEval系统评估大型语言模型在语言到代码生成中的表现，分析影响性能的因素，并提供全面了解。
NPHardEval基准的目的是什么？
NPHardEval基准旨在客观评估大型语言模型的推理能力，涵盖900个算法问题的广泛谱系。
如何改进大型语言模型的程序测试能力？
通过生成的测试用例来提高合成程序的质量，从而改进大型语言模型的程序测试能力。
RobustAPI数据集的作用是什么？
RobustAPI数据集用于评估大型语言模型生成代码的可靠性和鲁棒性，发现生成代码中存在API误用的情况。
大型语言模型在复杂逻辑和算术运算方面的表现如何？
在复杂逻辑和算术运算方面，大型语言模型的性能下降，表现不如在简单程序时。
