OpenCodeInterpreter: 将代码生成与执行和细化相整合
内容提要
本文综述代码增强大模型推理的研究进展：GPT-4代码解释器结合自验证提示将MATH准确率从53.9%提升至84.3%；MathCoder经微调在MATH和GSM8K上超越多个开源模型及GPT-4；此外还评估了代码生成正确性与人类偏好，并探讨了敏捷MDD、GPT-4编码助手及DeepSeek-Coder等方向。
延伸解读
代码增强推理的两种路径
文章展示了提升大模型数学推理的两种主要路径：一是无需训练，通过提示方法如基于代码的自验证（CSV）挖掘GPT-4代码解释器的潜力，在MATH数据集上实现53.9%到84.3%的准确率提升；二是通过微调开源模型，如MathCoder，在MATH和GSM8K上取得开源模型最佳成绩，甚至超越GPT-4。这两种路径分别适用于不同资源与需求场景。
评估代码生成的新维度
除了追求功能正确性，文章还提到基于GPT-3.5的评估框架，可同时衡量代码生成的功能正确性和人类偏好，且无需测试预言或参考代码，在准确性和一致性上优于CodeBERTScore。这提示我们，代码生成的质量评估正从单一正确性向更贴近人类偏好的多维标准演进。
敏捷MDD与代码生成实践
文章介绍了敏捷模型驱动开发（MDD）方法，利用GPT-4从UML图自动生成Java和Python代码，并通过OCL和FIPA本体约束减少歧义。案例显示，自动生成代码行为与预期顺序图一致，且本体约束虽增加代码复杂度，但仍在可管理范围内，维护风险较低。这为复杂系统开发提供了新思路。
开源代码模型的进展与局限
DeepSeek-Coder等开源模型基于高质量项目级代码预训练，采用填空任务和16K窗口，在多个基准上达到开源最优，甚至超越Codex和GPT-3.5，且允许商业应用。然而，早期Codex在HumanEval上仅解决28.8%的问题，且所有AI编码工具仍需人类验证，表明代码生成技术虽进步显著，但可靠性仍是关键挑战。
Q&A
GPT-4 Code Interpreter 结合 CSV 提示方法在 MATH 数据集上的准确率提升了多少？
准确率从 53.9% 提升至 84.3%。
MathCoder 模型在 MATH 和 GSM8K 数据集上取得了怎样的成绩？
MathCoder 在 MATH 上达到 45.2%，在 GSM8K 上达到 83.9%，取得了开源语言模型的最新得分，超过了 ChatGPT-3.5、PaLM-2 以及 GPT-4 在 MATH 上的表现。
如何评估代码生成的功能正确性和人类偏好？
本研究提出了一个基于 GPT-3.5 的评估框架，无需测试 oracle 或参考文献，即可达到比 CodeBERTScore 更高的准确性和一致性。
Codex 模型在 HumanEval 基准上的表现如何？
Codex 模型在 HumanEval 上可解决 28.8% 的问题，重复采样是解决难题的有效策略，但也存在局限性。
敏捷 MDD 方法如何利用 GPT-4 增强代码自动生成？
该方法使用 UML 图构建文本表示，引入 OCL 和 FIPA 本体论约束以减少歧义，最后利用 GPT-4 自动生成 Java 和 Python 代码，并部署在 JADE 和 PADE 框架中。
DeepSeek-Coder 模型有哪些主要特点？
DeepSeek-Coder 是一个从头开始训练的开源代码模型，基于高质量项目级代码语料库预训练，利用填空任务和 16K 窗口提升代码生成和填充，在多个基准测试中达到最先进性能，并采用宽松许可证允许研究和商业应用。
