顶会ICSE-2023发布LIBRO技术,利用大模型技术进行缺陷重现,自动重现率达33%

💡 原文中文,约2200字,阅读约需6分钟。
📝

内容提要

本文介绍了利用大模型技术进行缺陷重现的LIBRO技术,自动重现率达33%,实现了业界突破。LIBRO框架包括四个步骤:提示工程、LLM查询、后处理和选择&排序。文章还介绍了一个LIBRO重现AssertJ-Core项目中编号为2666的缺陷报告的真实案例。

🎯

关键要点

  • LIBRO技术利用大模型技术进行缺陷重现,自动重现率达33%,实现业界突破。
  • LIBRO框架包括四个步骤:提示工程、LLM查询、后处理和选择&排序。
  • 步骤A:提示工程通过缺陷报告构建提示信息,引导大模型生成测试用例。
  • 步骤B:LLM查询使用基于GPT-3的CodeX模型生成测试用例代码,并通过加权随机采样提升效果。
  • 步骤C:后处理将测试用例函数放入对应测试类中,并解决依赖问题,成功匹配89%的测试类与测试函数关系。
  • 步骤D:选择&排序通过启发式策略选择和排序测试用例,优先推荐质量更高的结果。
  • LIBRO重现了AssertJ-Core项目中编号为2666的缺陷报告,自动生成了能够重现该缺陷的测试用例。
➡️

继续阅读