代码 R：多智能体和任务图的问题解决
内容提要
新一代语言模型在软件工程中的应用面临挑战。研究提出了SWE-agent和MAGIS等框架，以提高模型解决GitHub问题的能力。SWE-agent通过自定义界面增强代码处理能力，而MAGIS通过多智能体协作提高问题解决率。此外，RepoBench和RepoClassBench等基准测试评估了代码自动完成和类级生成的效果，强调了结合库级依赖关系的重要性。
延伸解读
多智能体协作的增益与局限
MAGIS通过四种定制化代理人的协作，在SWE-bench上解决了13.94%的GitHub问题，优于GPT-3.5、GPT-4和Claude-2等基线。这表明多智能体框架能提升问题解决率，但成功率仍不足15%，说明当前模型在复杂软件工程任务中仍有较大提升空间。
基准测试推动代码生成评估
RepoBench和RepoClassBench分别针对存储库级代码自动完成和类级代码生成。RepoBench包含检索、完成和管道三个任务，RepoClassBench强调库级依赖和测试验证。这些基准更贴近实际开发，能更严格评估模型能力，揭示模型对库上下文理解不足的缺陷。
工具增强提升库上下文理解
RRR方法为LLMs提供静态分析工具，使其能迭代导航和推理库级上下文，在RepoClassBench上显著优于基线。这表明结合专门工具能弥补模型对库依赖理解的不足，提高生成复杂类代码的准确性，为LLMs在软件工程中的实际应用提供了有效途径。
Q&A
SWE-agent是什么，它的主要功能是什么？
SWE-agent是一个自主系统，通过自定义的agent-computer interface增强代码处理能力，能够创建和编辑代码文件、浏览代码库和执行程序。
MAGIS框架如何提高GitHub问题的解决率？
MAGIS是一个多智能体框架，通过四种定制化的代理人协作，利用规划和编码过程来提高GitHub问题的解决率，成功率达到13.94%。
RepoBench和RepoClassBench的目的是什么？
RepoBench旨在评估代码自动完成系统的能力，而RepoClassBench则评估LLMs在创建复杂类级代码时的能力，强调库级依赖关系的重要性。
Retrieve-Repotools-Reflect (RRR)方法的作用是什么？
RRR方法为LLMs提供静态分析工具，以更好地理解库上下文，实验结果显示其在RepoClassBench上明显优于现有基准线。
新一代语言模型在软件工程中面临哪些挑战？
新一代语言模型在解决GitHub问题时仍存在困难，呼吁提高模型在实际应用中的智能和自主能力。
RepoCoder框架的优势是什么？
RepoCoder通过结合基于相似度的检索器和预训练的代码语言模型，简化存储库级代码完成流程，并在各种设置中显著提高了零样本代码完成基线。
