登顶开源AI软件工程师榜首，UIUC无Agent方案轻松解决SWE-bench真实编程问题
内容提要
伊利诺伊大学香槟分校的研究团队提出了一种无Agent的自动修复软件工程问题的方法，名为OpenAutoCoder-Agentless。该方法在GitHub上获得了很高的关注度，并在解决问题的成本和性能方面超过了现有的开源Agent解决方案。研究者还发现了SWE-bench Lite数据集中问题描述的质量问题，并提出了一个过滤后的严格问题子集SWE-bench Lite-S。作者呼吁技术和研究社区停下来思考Agent的关键设计和评估方法。
关键要点
-
伊利诺伊大学香槟分校提出了一种无Agent的自动修复软件工程问题的方法，名为OpenAutoCoder-Agentless。
-
OpenAutoCoder-Agentless在解决问题的成本和性能方面超过了现有的开源Agent解决方案。
-
研究者发现SWE-bench Lite数据集中存在问题描述的质量问题，并提出了过滤后的严格问题子集SWE-bench Lite-S。
-
Agentless框架以显著更低的成本解决GitHub问题，解决率达到27.33%。
-
Agentless使用分层查询方法定位和修复代码中的bug，具有改进的潜力。
-
对SWE-bench Lite数据集的分析显示，部分问题描述中包含了完整的答案或误导性解决方案。
-
研究者提出SWE-bench Lite-S，以去除不合理的问题并标准化基准测试的难度水平。
-
作者呼吁技术和研究社区重新思考Agent的设计与评估方法。
延伸问答
OpenAutoCoder-Agentless 是什么？
OpenAutoCoder-Agentless 是伊利诺伊大学香槟分校提出的一种无Agent的自动修复软件工程问题的方法。
OpenAutoCoder-Agentless 的性能如何？
OpenAutoCoder-Agentless 在解决问题的成本和性能方面超过了现有的开源Agent解决方案，解决率达到27.33%。
SWE-bench Lite 数据集存在哪些问题？
SWE-bench Lite 数据集中存在问题描述质量问题，包括部分问题直接给出完整答案或误导性解决方案。
研究者如何改进SWE-bench Lite数据集？
研究者提出了过滤后的严格问题子集SWE-bench Lite-S，以去除不合理的问题并标准化基准测试的难度水平。
Agentless 框架的工作机制是什么？
Agentless 框架使用分层查询方法定位和修复代码中的bug，采用两阶段方法进行定位和修复。
研究者对Agent的设计和评估方法有什么看法？
研究者呼吁技术和研究社区重新思考Agent的关键设计与评估方法，而不是急于发布更多的Agent。
