CodeMind 框架评估了九个大型语言模型的代码推理能力，发现它们在简单程序上表现良好，但在复杂逻辑和算术运算方面性能下降。研究提出了 L2CEval 系统，分析了模型在语言到代码生成中的表现及影响因素，并发布了评估框架和模型输出。此外，研究还揭示了改进程序测试能力的方法，并提出了 NPHardEval 基准，以客观评估 LLMs 的推理能力。

该文综述大语言模型在代码生成与程序测试方面的研究：利用生成测试用例提升合成程序质量，在HumanEval+上通过率较GPT-3.5-turbo和最新技术分别提高11.77%和4.22%；将代码纳入训练数据可增强代码生成与推理能力；代码模型自动生成代码摘要优于通用模型；让模型生成程序交由解释器执行，在数学与算法推理任务中表现更佳；自动生成的代码解释比学生解释更准确易懂；Chain of Code等方法拓展了模型可正确回答的推理问题范围。