Codev-Bench:大型语言模型如何理解以开发者为中心的代码补全?
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对现有代码补全评估基准缺乏对真实开发场景的反映和高成本的人类注释问题进行了探讨,提出了Codev-Agent系统,通过动态调用链提取和新测试样本生成等方式改善评估过程。最终开发出Code-Development Benchmark(Codev-Bench),为现代软件开发中的代码补全提供了更为现实的评估框架。
本研究分析了现有代码补全评估基准在实际开发中的不足,提出了Codev-Agent系统,通过动态调用链提取和生成新测试样本来改进评估过程,最终开发出Codev-Bench,为现代软件开发中的代码补全提供更现实的评估框架。