Mercury: LLM 代码综合效率评估
内容提要
该文综述大语言模型代码生成与评测研究，提出改进程序测试和提升合成代码质量的方法，使HumanEval+通过率分别提高11.77%和4.22%；并介绍Verilog生成基准、EvalPlus、LLMCompiler、高效评测、心理健康基准、EffiBench、LLMCompass及TaskBench等，评估模型在代码、硬件和任务自动化方面的能力。
延伸解读
测试用例生成如何提升代码质量
文章指出，通过利用生成的测试用例来改进程序测试能力，可以提升合成程序的质量。相较于GPT-3.5-turbo和最新最先进技术，该方法在HumanEval+上的代码通过率分别提高了11.77%和4.22%。这表明自动生成测试输入不仅能评估代码，还能反馈优化代码生成，为LLM代码综合提供了一条实用路径。
现有编程基准的局限与改进方向
EvalPlus框架通过自动生成测试输入来扩充现有基准测试集，发现并降低了LLM合成代码的错误率。这揭示了现有编程基准测试的局限性，即测试用例不足可能导致高估模型能力。EvalPlus为编程基准测试的改进开辟了新方向，强调更全面的测试对可靠评估的重要性。
效率评估：从代码生成到硬件设计
EffiBench基准包含1000个效率关键的编码问题，用于评估生成代码的效率，结果显示GPT-4 Turbo生成的代码最有效，但仍比人工编写的规范解决方案效率低。同时，LLMCompass硬件评估框架为大规模语言模型的硬件设计提供性能优化和成本效益选择。这些工作表明，LLM评估正从正确性扩展到效率和硬件协同。
任务自动化与心理健康评估的基准进展
TaskBench评估LLM在任务自动化中的能力，涵盖任务分解、工具调用和参数预测，并引入工具图和反指导方法生成高质量数据集。心理健康领域则推出了首个全面基准，包含六个子任务和三个维度，系统评估LLM能力。这些基准反映了LLM应用范围的扩展，以及标准化评估对推动自主代理和领域应用的重要性。
Q&A
如何提高大语言模型生成代码的通过率？
通过利用生成的测试用例来改进程序测试能力，从而提高合成程序的质量。相较于GPT-3.5-turbo和最新的最先进技术，该方法在HumanEval+上的代码通过率分别提高了11.77%和4.22%。
EvalPlus框架是什么？它有什么作用？
EvalPlus是一个用于对大型语言模型进行代码综合基准测试的框架，通过自动生成测试输入来扩充现有基准测试集，发现并降低LLM合成代码的错误率，揭示了现有编程基准测试的局限性并为改进方向开辟了新方向。
LLMCompiler如何提升大语言模型函数调用的效率？
LLMCompiler通过并行函数调用，实现了延迟速度的提升、成本的节省和准确性的改进，同时在并行函数调用方面表现优异。
EffiBench基准测试的目的是什么？评估结果如何？
EffiBench是一个包含1000个效率关键的编码问题的基准测试，用于评估由代码生成模型生成的代码的效率。结果表明GPT-4 Turbo生成的代码最有效，但仍比人工编写的规范解决方案效率低。
TaskBench是什么？它如何评估LLM在任务自动化中的能力？
TaskBench是一个用于评估LLM在任务自动化中能力的基准，将任务自动化分为任务分解、工具调用和参数预测三个阶段。它引入工具图表示用户意图中的分解任务，采用反指导方法模拟用户指令和注释，并提出TaskEval从不同方面评估LLM能力。实验表明TaskBench能有效反映LLM在任务自动化中的能力，且与人工评估具有高一致性。
在心理健康领域，如何评估大语言模型的能力？
文章介绍了首个适用于心理健康领域特点的全面基准，包括六个子任务、三个维度，系统评估LLMs在心理健康领域的能力。为每个子任务设计了简明提示，并全面评估了八个先进的LLMs。实验结果展示了当前LLMs在心理健康方面的改进空间，并揭示了未来模型优化的潜在方向。
