基于同行援助的修复器：赋予大型语言模型修复高级学生作业的能力
内容提要
本文介绍了多种基于大型语言模型（LLM）的自动程序修复技术，如RepairLLaMA和RepairAgent。这些方法在修复Python和C代码中的语法和语义错误方面表现优异，显著提高了代码修复的准确性和效率。通过优化数据集和训练样本，LLM能够更有效地生成修复补丁，为软件工程领域的未来发展提供了新的方向。
延伸解读
从修复到自主代理：RepairAgent 的突破
RepairAgent 是首个基于 LLM 的自主代理程序修复技术，能自主规划并执行修复操作，包括收集错误信息、修复材料和验证结果。在 164 个错误中表现良好，并修复了先前技术无法处理的 39 个错误。但每个错误平均消耗 27 万 token，成本约 14 美分，这提示了自主代理在修复效果提升的同时，也带来了显著的计算开销。
数据与训练策略对修复效果的关键影响
文章多次强调数据集完整性和训练样本的重要性。通过降低训练数据量、使用代码剪裁技术及构建全面数据集，系统能在更少案例中准确匹配人工修复，并提升模型性能。这表明，在 LLM 程序修复中，数据质量与训练策略可能比单纯增加模型规模更为关键，为未来研究提供了优化方向。
评估指标的局限与真实场景的差距
研究对当前评估指标（如完美预测）进行了关键评估，指出这些指标可能无法反映自动修复模型在真实场景中的真正能力。例如，在 C 代码漏洞修复中，模型在数据集上表现良好，但实际应用可能受限于样本缺失和场景复杂性。这提醒读者，在关注修复准确率的同时，也需警惕评估方法与实际部署之间的鸿沟。
Q&A
RepairLLaMA是什么？
RepairLLaMA是一种结合了代码表示和LoRA技术的高效程序修复方法。
RepairAgent的主要功能是什么？
RepairAgent是第一个基于大型语言模型的自主代理，能够自主规划和执行程序修复操作。
如何提高大型语言模型在代码修复中的效果？
提高效果的方法包括优化数据集完整性和训练样本的选择。
基于LLMs的多语言自动修复引擎RING有什么优势？
RING显著降低了修复程序的工程量，表现优于传统修复技术。
大型语言模型在程序合成中如何应用？
大型语言模型用于程序合成时，通过Synthesize、Execute、Debug方法实现替换或修复故障程序。
使用大型语言模型进行自动程序修复的成本如何？
与LLM的交互对每个错误平均造成270,000个token的开销，成本约为14美分。
