Harness 不是一次性脚手架：自进化 Coding Agent 系统如何越跑越强
内容提要
南京大学综述《Self-Evolving Coding Agents》提出编码智能体应基于执行反馈自我进化，而非静态固定。文章将进化对象分为框架、记忆、技能工具、模型、工作流拓扑五类，并区分任务内、任务后、阶段性三种时机及结果、环境、轨迹三类证据。同时指出可复现性、反馈可靠性、记忆腐化、评测短视四大挑战，为手搓Harness的工程师提供系统化进化方向。
延伸解读
自进化 Coding Agent 的边界与风险
论文强调，自进化 Coding Agent 与普通 Coding Agent 的关键区别在于，它能把执行反馈转化为对未来行为的持久性改动。但这也带来风险：一次误导性反馈可能影响未来所有行为，而非单次输出。因此，反馈可靠性、安全性和可复现性是当前最大的挑战。工程师在构建自进化系统时，需特别关注验证、回滚和鲁棒性检查机制，避免系统过拟合基准或钻评测空子。
进化时机与证据类型的选择
论文提出进化的三种时机（任务内、任务后、阶段性）和三类证据（结果、环境、轨迹衍生）。任务内进化最快但最局部，适合即时纠偏；任务后进化持久性更强，适合沉淀经验；阶段性进化最接近跨代提升，但依赖训练环境可靠性。结果证据擅长选优，环境反馈擅长即时纠偏，轨迹衍生证据擅长沉淀经验。工程师应根据具体场景选择合适的时机和证据类型，构建有效的证据供应链。
评测自进化 Agent 的额外维度
传统评测只看最终 pass rate，但对自进化 Agent 来说，这无法揭示提升来源。论文建议评测需暴露进化过程本身、报告效率与开销（如成本、Token 消耗）、以及测试跨场景泛化能力。此外，还需警惕基准过拟合和评测短视，因为自进化系统可能钻基准空子。因此，评测脚本不仅要测“这一版好不好”，还要测“筛选自我修改的机制本身有没有被过拟合”。
Q&A
什么是自进化编码智能体？它与普通编码智能体有何区别？
自进化编码智能体（Self-Evolving Coding Agents）是指能够将编码交互中产生的执行反馈转化为对未来行为的持久性改动的智能体。普通编码智能体（如SWE-agent、OpenHands）在部署后模型、提示词、工具接口和记忆机制基本固定，只能利用反馈修补当前Bug；而自进化编码智能体则能积累反馈，将其转化为跨任务的资产，如更新记忆、技能、工具甚至自身框架。
自进化编码智能体可以进化哪些对象？请列举五类。
根据南京大学的综述，自进化编码智能体的进化对象分为五类：1. 框架自进化（如Darwin Gödel Machine），修改智能体自身实现代码；2. 记忆自进化（如SWE-Exp），构建和复用经验库；3. 技能与工具自进化（如CODESKILL），提炼和演化技能库或工具；4. 模型自进化（如Agent-RLVR），更新模型侧组件；5. 工作流与拓扑自进化（如EvoMAC），调整多智能体协作结构。
自进化编码智能体在什么时机进行进化？
进化时机分为三种：任务内进化（task-time），在任务执行过程中根据测试失败或编译错误即时调整策略；任务后进化（post-task），在一条轨迹完成后将结果抽象为记忆或技能供未来复用；阶段性进化（stage-wise），积累大量验证过的轨迹后更新模型策略或变体档案库。越往后进化越慢但持久性越强。
自进化编码智能体依赖哪些证据进行进化？
证据分为三类：结果证据（如基准通过率、测试通过率），提供选择压力，用于选优；环境反馈（如命令输出、编译诊断、运行时异常），用于即时纠偏；轨迹衍生证据（如仓库检查、工具调用、失败分支），用于沉淀经验。三者共同构成证据供应链。
自进化编码智能体面临哪些主要挑战？
主要挑战有四个：1. 可复现性、数据污染与基准过拟合，自进化系统难以复现且对基准泄露敏感；2. 反馈可靠性、安全性与工具依赖，不完美的反馈可能影响未来所有行为；3. 长期记忆、技能与多智能体协调，记忆可能腐化或过特化；4. 评测短视，现有评测只看短期通过率，忽略可维护性、安全性等。
如何评测一个自进化编码智能体？
评测不能只看最终通过率，需要补充三个方面：1. 暴露进化过程本身，追踪改动是否带来提升；2. 报告效率与开销，如成本、Token消耗、检索开销；3. 测试跨场景泛化能力，看能否迁移到新仓库、新基准或不同语言。
自进化编码智能体与通用自进化智能体有何区别？
自进化编码智能体是编码智能体与通用自进化智能体的交集，但独特之处在于反馈来源是可执行的软件制品（如单测、编译诊断、CI日志），比通用场景的文本评价更具体、可重复，但也更容易过拟合到特定仓库或测试用例。
自进化编码智能体有哪些典型应用案例？
典型案例如：框架自进化的SICA、Darwin Gödel Machine；记忆自进化的SWE-Exp、Repository Memory；技能工具自进化的CODESKILL、GSkill、Live-SWE-Agent；模型自进化的Self-play SWE-RL、Agent-RLVR；工作流拓扑自进化的EvoMAC、SEMAG、AgentConductor。
