CatCode: 基于代码和文本混合的 LLMs 综合评估框架
内容提要
该文综述大语言模型在代码生成与测试中的进展，涵盖CAT-LM、L2CEval、EvalPlus等研究，评估GPT系列在多种编程语言和任务中的表现，并探讨自动编码、代码克隆检测及基准测试改进方向。
延伸解读
评估框架的多样性
文章介绍了多个评估框架，如L2CEval、EvalPlus和基于GPT-3.5的评估方法。L2CEval覆盖7个任务，分析模型大小、预训练数据等因素；EvalPlus通过自动生成测试输入扩充基准，发现并降低错误率。这些框架从不同角度评估LLMs的代码能力，但各有侧重，读者需根据具体需求选择。
模型表现与任务差异
文章指出，LLMs在不同代码任务中表现各异。例如，GPT-4在定性编码中与人类相当，而GPT-3.5表现不佳；ChatGPT在跨语言代码克隆检测中出色，单语言与微调模型相当。此外，模型在10种编程语言和4个软件领域中的代码生成能力被评估，揭示了主要意外行为和限制。这表明模型能力受任务类型和语言影响。
提示与推理的影响
文章强调，提示方法和推理过程显著影响LLMs性能。在定性编码中，要求LLM给出理由（思路连贯推理）能提高编码准确性；在代码克隆检测中，提示和问题难度水平影响ChatGPT的表现。这提示用户在设计评估或应用时，应优化提示策略以发挥模型潜力。
局限与改进方向
文章揭示了现有编程基准测试的局限性，如EvalPlus发现并降低了LLM合成代码的错误率。同时，L2CEval识别了典型失败模式，并发布了评估框架和模型输出。这些工作为改进基准测试和模型评估提供了方向，但文章未涉及具体改进措施，读者需关注后续研究。
Q&A
CAT-LM 是什么？它在测试代码生成方面有什么优势？
CAT-LM 是一个使用 27 亿参数在 Python 和 Java 项目语料库上训练的新颖预训练信号，通过考虑代码和测试文件之间的映射来生成与开发人员相似的测试代码，并且在生成测试完成时比更大的语言模型和最近的测试特定模型表现更好。
L2CEval 是什么？它评估了哪些任务？
L2CEval 是一个系统评估 LLMs 语言到代码生成能力的框架，评估了 7 个任务，包括语义解析、数学推理和 Python 编程，并分析了模型大小、预训练数据、指令调整和提示方法等因素的影响。
GPT-4 在自动编码任务中的表现如何？与 GPT-3.5 相比有何优势？
GPT-4 能够提供与人类相当的解释，对于 9 个代码中的 3 个提供了出色的编码一致性（Cohen's Kappa >= 0.79），对于 8 个代码提供了显著的一致性（Kappa >= 0.6）。而 GPT-3.5 在所有代码中表现不佳（平均 Kappa = 0.34；最大 Kappa = 0.55）。
EvalPlus 框架如何改进大型语言模型的代码合成基准测试？
EvalPlus 通过自动生成测试输入来扩充现有基准测试集，发现并降低了 LLM 合成代码的错误率，揭示了现有编程基准测试的局限性，并为编程基准测试的改进方向开辟了新的方向。
ChatGPT 在代码克隆检测任务中的表现如何？
ChatGPT 在跨语言代码克隆检测中表现出色，并且在单语言代码克隆检测方面与完全微调的模型的性能相当，同时，提示和问题的难度水平对 ChatGPT 的性能有影响。
大型语言模型在编程中有哪些应用领域？
大型语言模型（LLMs）和 ChatGPT 在编程、源代码分析和代码生成中有广泛应用，包括代码创建、代码文档化、漏洞检测、重构等多个领域，并指出它们在编程社区中的使用有望得到进一步推广。
