SpecRover: 通过 LLMs 提取代码意图
内容提要
本文介绍了多种基于大型语言模型（LLMs）的程序修复和生成技术，如AutoCodeRover和RepairAgent。研究表明，LLMs在代码修复和生成方面表现优异，能够高效处理复杂编程任务，并提升修复效率和准确性。此外，RepoClassBench基准测试评估了LLMs在实际软件库中的能力，强调了库级依赖关系的重要性。这些研究为软件工程中的自动化技术提供了新思路和方法。
延伸解读
LLM 代理在程序修复中的成本效益
RepairAgent 作为基于 LLM 的自主代理，在修复 164 个错误时，平均每个错误消耗 270,000 个 token，根据 GPT-3.5 定价，成本约为 14 美分。这显示了自动化修复的潜在经济效益，但 token 消耗量也提示了大规模应用时可能面临的成本控制挑战。
库级上下文对代码生成的重要性
RepoClassBench 基准测试表明，当前 LLM 在生成类级代码时，由于对库级依赖关系理解有限，面临现实挑战。Retrieve-Repotools-Reflect (RRR) 方法通过提供静态分析工具，迭代导航和推理库级上下文，显著提升了性能，强调了结合库级依赖关系以更准确反映软件开发复杂性的必要性。
自我完善方法提升代码可靠性
通过针对初始代码中的特定节点使用目标验证问题（VQs），并在无人工介入和测试用例的情况下重新提示 LLM，自我完善方法减少了代码中目标错误的数量达 21% 至 62%，同时提高了可执行代码实例的数量达 13%。这为提升 LLM 生成代码的可靠性提供了一种有效途径。
Agentless 方法的高效性
Agentless 采用简洁的两阶段定位和修复过程，在自动软件开发问题解决中获得了 27.33% 的最高性能，且成本最低（0.34 美元），超越了现有所有开源软件代理。这表明在特定场景下，简洁的方法可能比复杂代理更高效。
Q&A
什么是AutoCodeRover，它的主要功能是什么？
AutoCodeRover是一种将大型语言模型与复杂代码搜索能力相结合的自动化方法，能够自主解决GitHub问题并实现程序改进。
RepairAgent是如何工作的，它解决了什么问题？
RepairAgent是第一个基于大型语言模型的自主代理，能够有效修复程序错误，并自主规划和执行修复操作。
RepoClassBench基准测试的目的是什么？
RepoClassBench旨在评估大型语言模型在创建复杂类级代码时的能力，强调库级依赖关系的重要性。
Retrieve-Repotools-Reflect (RRR) 方法的优势是什么？
RRR方法为大型语言模型提供静态分析工具，以更好地理解库级上下文，显著提高了基准测试的表现。
使用大型语言模型进行程序合成时，哪些方法可以提高效果？
结合Synthesize、Execute、Debug方法可以在程序合成中取得比传统方法更好的效果。
Agentless方法在自动软件开发中表现如何？
Agentless方法在自动软件开发中获得了最高性能和最低成本，超越现有的所有开源软件代理。
