谷歌开源RSI新成果!华人浓度爆表

💡 原文中文,约3500字,阅读约需9分钟。
📝

内容提要

谷歌开源Harness²,一种面向Agent的脚手架层递归自我改进方法。它通过双层递归解决无标准答案和过拟合难题:任务级采用提议-探测-合成流程,对比执行轨迹筛选有效修改;改进级将调试经验存入经验库,供后续任务复用。在WorkBuddy-Bench等基准上,GLM-5提升11.5分并反超Gemini 3.5 Flash,经验库还能跨领域迁移涨分。

🔎

延伸解读

无标准答案下的自我改进机制

Harness² 针对真实场景缺乏标准答案的痛点,设计了任务级递归中的“提议-探测-合成”流程。它不依赖外部评分,而是通过对比候选脚手架与参考轨迹的行为差异,筛选出真正解决卡点的修改。这种基于行为证据的筛选方式,为无监督环境下的自我优化提供了可操作的思路。

经验库如何避免过拟合与实现迁移

改进级递归将调试经验沉淀为EXPERIENCE.md并存入经验库,供后续任务检索。这避免了针对单次任务的修改直接硬套到新任务上导致的噪声螺旋。实验显示,在JobBench积累的经验库迁移到WorkBuddy-Bench后,无需额外探测即可带来代码、网页、办公分别+0.6、+0.5、+2.9的涨分,说明经验复用具有跨领域价值。

脚手架优化对模型能力的实际影响

在WorkBuddy-Bench上,仅单步Harness²改进就让GLM-5在OpenCode下从64.2升至75.7,反超未优化的Gemini 3.5 Flash(72.4)。这表明脚手架层的递归优化能显著释放模型潜力,甚至弥补底座模型间的差距。同时,并行扩展(k=5)还能在多个基准上带来额外提升,但需权衡计算成本。

❓

Q&A

谷歌开源的Harness²是什么?它主要解决什么问题?

Harness²是谷歌开源的一种面向Agent的脚手架层递归自我改进方法。它主要解决两个难题:一是真实场景中没有标准答案,AI难以判断自我修改是否有效;二是过度拟合单次任务,修改后的脚手架难以迁移到新任务。

Harness²的双层递归架构具体是怎么工作的?

Harness²包含任务级递归和改进级递归两层。任务级递归通过Propose–Probe–Compose机制:先提出通用和领域专属两套修改方案,再放回同一任务探测,对比执行轨迹筛选有效修改并合成。改进级递归将调试经验存入经验库,供后续任务复用,提升改进脚手架的能力。

Harness²在哪些基准测试上取得了什么效果?

在WorkBuddy-Bench上,GLM-5单步改进后得分从64.2提升到75.7(OpenCode下),反超原生Gemini 3.5 Flash的72.4分;Gemini 3.5 Flash也从72.4提升到77.5。在JobBench上Gemini 3.5 Flash涨4.5分,GLM-5涨3.6分;在LAB法律基准上GLM-5部分通过率提升11.8个百分点。并行预算k=5时性能进一步提升。

Harness²的经验库能跨领域迁移吗?效果如何?

可以。团队将JobBench上积累的经验库直接用于WorkBuddy-Bench,在不做额外探测的情况下,带来了代码+0.6、网页+0.5、办公+2.9的涨分,证明经验库具有跨领域迁移能力。

Harness²支持哪些执行脚手架和底座模型?

Harness²已支持OpenCode与Codex两种执行脚手架,实验中使用的底座模型包括Gemini 3.5 Flash和GLM-5。

Harness²的作者团队背景如何?

论文共9位作者,华人浓度高达78%。一作兼通讯作者是Ruiyao Xu,美国西北大学统计与数据科学系博士生,该工作为其在谷歌实习期间完成;其他作者包括Google Cloud AI Research的资深研究工程师Yanfei Chen和研究工程师Zhongying CuiZhu等。

🏷️

标签

➡️

继续阅读