谷歌开源Harness²：不碰权重，让Agent学会了“自我进化”
内容提要
谷歌提出Harness²，使Agent能在无标准答案的开放任务中递归地自我改进Harness。该方法采用双层递归：任务级通过“提出—探测—合成”流程，依据同一任务下的行为对照而非真值来判断改动；Harness级将有证据支持的改进存入可复用的改进库。单步改进在4种配置、3个基准上均带来提升，GLM-5在WorkBuddy上平均提升11.5分，弱模型受益更大。消融实验表明改进库、范围划分与合成均有贡献。局限在于行为对照不等于正确性验证，且改进本身存在成本。
延伸解读
行为对照：有依据，但不是裁判
Harness² 的核心判断依据是同一任务下的行为对照，而非标准答案。这解决了开放世界任务缺乏真值和验证器的问题，但论文明确承认，对照受执行随机性和模型共同偏见限制，只能提供“有依据的证据”，不能证明答案正确。读者需注意：该方法适合没有标准答案、但能观察行为差异的场景；若任务本身有严格正确性要求，仍需额外验证机制，不能把行为对照当作正确性保证。
弱模型受益更大，但别忽略编辑器强弱
实验显示，GLM-5 在 WorkBuddy 上单步改进后平均提升 11.5 分，甚至反超原版 Gemini 3.5 Flash 的原始成绩，说明弱模型配改进后的 Harness 可能超过强模型用原 Harness。不过主实验用较强的 Claude Opus 4.8 做编辑器，存在“强模型教弱模型”的疑虑。论文补充了同模型自我改进实验，五个模型均有提升，缓解了该疑虑，但两种设置下的绝对增益不能直接比较，实际部署时需区分编辑器与执行器的能力差距。
改进库与范围划分：消融实验的关键信号
消融实验表明，去掉改进库、范围划分或合成，性能都会下降。其中“范围划分”在 JobBench 上影响最大，掉了 3.7 分；去掉改进库后 WorkBuddy 从 77.5 降到 74.4。更值得注意的是，不给参考执行、候选探测和改进库而直接让编辑器改 Harness，结果反而退步：Code 从 73.4 掉到 63.2。这说明“直接改”风险很高，有证据沉淀的改进库才是稳定增益的来源，探索越充分，积累的经验越有价值。
成本与评测安全：落地前要算的两笔账
论文将执行和改进成本都计入算力对比，Harness² 仍落在帕累托前沿，但具体业务需自行核算 token 开销。此外，开源仓库默认执行器网络访问不受限、Codex 沙箱默认关闭，而公开基准的评分标准可能在网上找到，正式评测前需自行配置网络限制，避免接触答案和评分标准。仓库也声明这不是 Google 官方支持的产品，采用前应评估维护与合规风险。
Q&A
Harness² 是什么？它主要解决什么问题？
Harness² 是谷歌研究团队提出的递归 Agent Harness 方法，让 Agent 在没有标准答案的开放任务中自我改进 Harness。它解决两个问题：开放世界任务没有真值和验证器，手工调 Harness 成本高且静态 Harness 难泛化；同时让改进经验可沉淀复用。
Harness² 的双层递归具体是怎么工作的？
任务级递归采用 Propose–Probe–Compose：先跑参考执行，再生成通用候选和领域候选，在同一任务下探测并做行为对照，最后根据证据合成。Harness 级递归则复盘改进记录，把有证据支持的 Harness 和经验存入改进库，供后续任务在 Propose 阶段选择性复用。
没有标准答案时，Harness² 怎么判断一次改动是不是真的有用？
它不依赖真值打分，而是靠“同一任务下的行为对照”：把候选 Harness 放在相同任务、相同模型和环境下执行，与参考执行对比，看是否缓解目标缺陷、无变化或引入新问题。每个合成决定都要对应具体观察证据，但论文明确这仅是证据，不是正确性验证。
Harness² 的实验效果如何？弱模型能受益吗？
单步改进在 4 种配置、3 个基准上全部提升。GLM-5 在 WorkBuddy 上平均提升 11.5 分，在 LAB 上提升 11.8 个百分点；Gemini 3.5 Flash 也有提升。弱模型受益更大，GLM-5 改进后在 WorkBuddy 上反超了 Gemini 3.5 Flash 的原始成绩。增加预算（k=5）还能继续涨分。
Harness² 有哪些设计是真正起作用的？消融实验说明了什么？
消融实验显示去掉改进库、范围划分（通用/领域两类编辑器合并）或合成，性能都会下降。其中范围划分在 JobBench 上影响最大，掉了 3.7 分。另外，不给参考执行、候选探测和改进库而直接改基础 Harness 会退步，说明改进库和经验沉淀是关键。
使用 Harness² 需要注意哪些局限和风险？
行为对照不等于正确性验证，受执行随机性和模型共同偏见限制；改进本身消耗 token，有成本；主实验用较强模型做编辑器，绝对增益不能直接比较；并非处处第一，个别子项上 Meta-Harness 领先；开源仓库默认网络不受限，正式评测需自行加限制，避免接触答案和评分标准。
