NaturalCodeBench: 检视 HumanEval 和自然用户提示对编码性能不匹配的问题
内容提要
本研究评估了Python代码生成的基准测试HumanEval和MBPP，发现现有测试对某些编程概念存在明显偏向，且易完成问题比例高，可能导致模型性能被高估。为此，提出了新的基准测试MBXP和Multilingual HumanEval，以评估多语言环境下的代码生成能力，并发现当前大型语言模型在真实编程挑战中的表现不足。
延伸解读
现有基准的偏向与高估风险
文章指出，HumanEval和MBPP对少数编程概念存在显著偏向，而大多数概念缺乏代表性。同时，易于完成的问题比例极高，这可能导致模型性能被高估。这意味着仅凭这些基准的分数，可能无法真实反映模型在多样化编程任务上的能力，读者需警惕基准结果与实际应用之间的差距。
多语言评估的补充价值
为弥补现有基准的不足，研究提出了MBXP和Multilingual HumanEval等新基准，用于评估多语言环境下的代码生成能力。这些基准不仅测试模型在多语言间的泛化能力，还探索了通过few-shot prompting教学新语言以及单语言下的zero-shot翻译能力，为多语言代码生成提供了更全面的评估视角。
真实编程挑战中的模型局限
文章通过DevBench等基准评估发现，当前大型语言模型在软件开发生命周期的各个阶段（如设计、环境设置、实施、测试）仍面临挑战。模型在理解复杂结构、管理编译过程和掌握高级编程概念方面存在困难，表明其在真实世界编程活动中的表现不足，未来需要更贴近实际的评估和改进方向。
Q&A
HumanEval和MBPP基准测试的主要问题是什么？
这两个基准测试对某些编程概念存在明显偏向，且易完成问题比例高，可能导致模型性能被高估。
研究中提出了哪些新的基准测试？
研究提出了MBXP和Multilingual HumanEval等新的基准测试，以评估多语言环境下的代码生成能力。
大型语言模型在真实编程挑战中的表现如何？
当前大型语言模型在理解复杂结构和高级编程概念方面的表现不足。
DevBench的目的是什么？
DevBench旨在评估大型语言模型在软件开发生命周期各阶段的能力。
研究发现了什么关于程序员生产力的结论？
研究发现优化的基准性能可以提高程序员的生产力，但与人类表现之间的差距并不成比例。
如何评估大型语言模型的代码编辑能力？
通过CodeEditorBench提供的评估平台，对19个大型语言模型的代码编辑能力进行评估。
