BriefGPT - AI 论文速递
·
Codev-Bench: How Do Large Language Models Understand Developer-Centric Code Completion?
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究分析了现有代码补全评估基准在实际开发中的不足，提出了Codev-Agent系统，通过动态调用链提取和生成新测试样本来改进评估过程，最终开发出Codev-Bench，为现代软件开发中的代码补全提供更现实的评估框架。
🎯
关键要点
-
本研究分析了现有代码补全评估基准的不足之处。
-
现有基准缺乏对真实开发场景的反映。
-
人类注释成本高，影响评估过程。
-
提出了Codev-Agent系统以改善评估过程。
-
Codev-Agent通过动态调用链提取和生成新测试样本。
-
最终开发出Code-Development Benchmark（Codev-Bench）。
-
Codev-Bench为现代软件开发中的代码补全提供了更现实的评估框架。
🏷️
标签
➡️
