本研究针对大型语言模型在自调用代码生成任务中的推理和问题解决能力的评估，提出了一种新任务。研究开发了三种新的基准测试，包括HumanEval Pro和MBPP Pro，表明大多数模型在传统代码生成任务中表现良好，但在自调用任务上性能下降，揭示了模型的失败模式，这为未来优化模型的代码推理能力提供了新的研究方向。

本研究提出了AlphaVerus框架，旨在解决自动化代码生成中的形式验证问题。通过迭代翻译和验证反馈，显著提升了生成代码的正确性，并展示了在HumanEval和MBPP等问题上的应用潜力。

本文研究了大型语言模型在程序合成中的局限性，通过MBPP和MathQA-Python基准测试评估其性能。结果表明，模型性能随规模增加呈对数线性关系。即使是最先进的模型，也无法完全预测某些程序的输出。