Micropaper
·
一分钟读论文：SWE-Doctor——用多面Bug复现测试引导Agent生成补丁
内容提要
本文讨论了SWE-Doctor，一个通过多面Bug复现测试（BRT）指导软件开发的研究。研究表明，传统BRT主要用于验证，未能有效指导补丁生成。SWE-Doctor将BRT转变为实时诊断工具，收集丰富的运行时信息，从而提升补丁质量。实验结果显示，该方法在多个基准上显著提高了Bug修复率，并减少了部分补丁的产生，展示了BRT在软件工程中的潜力。
关键要点
-
SWE-Doctor是一个通过多面Bug复现测试指导软件开发的研究，旨在提升补丁生成质量。
-
传统的Bug复现测试（BRT）仅用于补丁生成后的验证，未能有效指导生成过程。
-
SWE-Doctor将BRT转变为实时诊断工具，收集丰富的运行时信息，改善补丁生成。
-
研究发现，fail-to-fail类型的BRT会误导Agent，导致补丁偏离正确方向。
-
fail-to-pass类型的BRT仅覆盖单一表现路径，可能导致生成部分补丁，无法全面修复Bug。
-
SWE-Doctor构建了完整的运行时诊断流水线，提供全面的执行路径和异常信息。
-
在SWE-bench Verified和SWE-bench Pro基准上，SWE-Doctor显著提高了Bug修复率，减少了部分补丁的产生。
-
研究揭示了Bug复现测试中运行时诊断信息的潜力，为软件工程自动化提供了新的设计范式。
延伸解读
多面BRT的优势
SWE-Doctor通过多面Bug复现测试（BRT）提供了更全面的运行时信息，这种方法不仅能提高补丁生成的质量，还能有效减少部分补丁的产生。相比传统的单一测试路径，多面BRT能够覆盖更多的行为维度，使得生成的补丁更具完整性和正确性。
系统性陷阱的警示
研究指出，传统的fail-to-fail和fail-to-pass类型的BRT在补丁生成过程中存在系统性陷阱。前者可能导致Agent过度拟合失败案例，后者则无法提供足够的诊断信息。这提醒开发者在使用BRT时需谨慎，避免依赖简单的反馈信号。
实时诊断的潜力
SWE-Doctor的核心在于将Bug复现测试转变为实时诊断工具，利用丰富的运行时数据指导补丁生成。这一创新不仅提升了补丁的修复率，也为软件工程的自动化提供了新的思路，强调了实时反馈在复杂代码修改中的重要性。
延伸问答
SWE-Doctor的主要功能是什么？
SWE-Doctor通过多面Bug复现测试指导软件开发，提升补丁生成质量。
传统的Bug复现测试存在什么问题？
传统的Bug复现测试仅用于补丁生成后的验证，未能有效指导生成过程。
SWE-Doctor如何改善补丁生成过程？
SWE-Doctor将BRT转变为实时诊断工具，收集丰富的运行时信息，提供全面的执行路径和异常信息。
研究中发现的fail-to-fail和fail-to-pass类型的BRT有什么影响？
fail-to-fail类型的BRT会误导Agent，导致补丁偏离方向；fail-to-pass类型的BRT可能导致生成部分补丁，无法全面修复Bug。
SWE-Doctor在实验中取得了怎样的效果？
在SWE-bench Verified上，平均解决率达到75.7%；在SWE-bench Pro上达到59.4%，相对基线方法提升8.0到8.9个百分点。
SWE-Doctor对软件工程自动化的意义是什么？
SWE-Doctor为软件工程自动化提供了新的设计范式，让反馈回路从单向验证变为双向诊断。
