通过设计推理增强基于大语言模型的自动程序修复
内容提要
本文介绍了多种自动程序修复技术，如CURE、ChatRepair、RAP-Gen、RepairLLaMA和RepairAgent。这些方法结合编程语言模型和新型搜索策略，显著提升了程序修复的效率和效果。研究表明，基于大型语言模型的自主代理技术在修复错误方面表现优异，推动了软件工程的发展。
延伸解读
技术演进脉络
从2021年的CURE到2024年的SpecRover，自动程序修复技术经历了从预训练模型、对话式修复、检索增强到自主代理的演进。CURE通过代码搜索策略突破神经机器翻译限制；ChatRepair引入会话反馈；RAP-Gen利用历史修复模式；RepairLLaMA结合参数高效微调；RepairAgent实现自主规划；AutoCodeRover增强代码搜索；SpecRover强调意图推断。这一脉络显示研究重点从单一模型转向结合搜索、反馈和代理的复合系统。
自主代理的突破与成本
RepairAgent作为首个基于LLM的自主代理，能自主调用工具收集信息、修复和验证，修复了39个先前技术无法修复的错误。但每个错误平均消耗270,000个token，按GPT-3.5定价约14美分。这表明自主代理在提升修复能力的同时，也带来了显著的token开销，实际部署需权衡效果与成本。
意图推断的价值
SpecRover通过结合项目结构和行为进行意图推断，在2294个GitHub问题评估中，有效性比现有方法提升超过50%，且成本适度。这凸显了在自动程序修复中，明确开发者意图的重要性。仅依赖代码模式可能不足，结合规范推断能更准确地生成补丁，为未来研究提供了方向。
小模型的过程监督
研究通过构建CodeNet4Repair数据集，采用过程监督和反馈优化小规模语言模型的修复策略。结果表明，基于过程的方法不仅超越了更大规模、基于结果的生成方法，还几乎达到封闭源商业大模型的性能。这说明对于程序修复任务，训练方法和监督信号的质量可能比单纯增加模型规模更关键。
Q&A
CURE技术的主要特点是什么？
CURE是一种新型自动程序修复技术，通过预先训练编程语言模型和新的基于代码的搜索策略，解决了现有神经机器翻译方法的限制。
ChatRepair是如何工作的？
ChatRepair是第一个全自动、基于会话的自动程序修复方法，通过对话方式进行修补生成和反馈。
RepairAgent的创新之处在哪里？
RepairAgent是第一个基于大型语言模型的自主代理，能够自主规划和执行程序修复操作，修复了39个先前技术无法修复的错误。
RAP-Gen如何提高程序修复效率？
RAP-Gen利用以前错误修复的相关模式，显著提高了程序修复的效率，简化了参数模型的负担。
SpecRover在自动程序改进中有什么优势？
SpecRover通过结合项目结构和行为进行意图推断，提升了自动程序改进的有效性超过50%。
自动程序修复技术对软件工程的影响是什么？
自动程序修复技术减少了开发人员手动调试的努力，提高了软件的可靠性，推动了软件工程的发展。
