一分钟读论文:《强模型掌舵,弱模型盯梢》

一分钟读论文:《强模型掌舵,弱模型盯梢》

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

Simular与威斯康星大学论文提出LEASH方法:让开源弱模型先执行计算机操作任务,按不确定性在合适时机升级给强模型,交接后弱模型转任影子观察者,用隐状态在线监测黑盒强模型是否跑偏。OSWorld上任务成功率73.66%,追平常开强模型,成本省19.2%。消融显示升级机制贡献最大,影子层再补5.7个百分点,仅多花约1.7%成本。

🔎

延伸解读

升级机制是省钱关键,影子盯梢是低成本保险

消融实验显示,从弱模型独立执行到加入不确定性升级,成功率从37.40%跃升至67.94%,贡献最大;影子盯梢再补5.7个百分点,成本仅增约1.7%。这说明LEASH的收益主要来自“何时换强模型”的判断,而非单纯多调用强模型。同成本下比随机升级高9.1个百分点,进一步印证升级时机判断的价值。

影子观察者:给黑盒强模型装在线仪表

强模型作为黑盒API,长任务中同样可能跑偏或陷入死循环,且口头信心不可靠。LEASH让白盒弱模型在相同动作token位置生成影子表征,用隐状态变化替代看不见的“心跳”,在线判断强模型是否在线。与事后打分的轨迹裁判不同,影子观察是运行时干预,能更及时地发现异常。

跨骨干一致有效,低升级率也有收益

在多个开源骨干上,LEASH的升级差距可回收75%–102%,成本为常开强模型的69%–81%。即使升级率较低,收益依然明显:Nemotron-3从45.04%升至66.03%(升级率43.1%),EvoCUA-8B从42.37%升至67.18%(升级率45.4%),4个开源骨干结果一致,说明方法不依赖特定模型。

预印本阶段,成本口径需留意

该论文为2026年10月arXiv预印本,结果以OSWorld任务成功率为口径,成本为按固定参考价折算token用量的估算值,非真实账单。论文未提及平台开源。读者在参考其19.2%成本节省和73.66%成功率时,需注意这些结论的时效性和估算性质,实际部署效果可能因环境而异。

❓

Q&A

LEASH 方法是怎么工作的?它如何平衡成本和成功率?

LEASH 是一种无需训练的三层机制:首先根据任务级不确定性进行早期路由,将难任务直接交给强模型;运行中由弱模型的步级不确定性触发升级,将任务移交给强模型;交接后弱模型转为影子观察者,用隐状态在线监测强模型是否跑偏。这样在 OSWorld 上任务成功率达 73.66%,接近常开强模型(72.90%),但成本节省 19.2%。

LEASH 中的影子观察者是什么?它如何判断强模型是否跑偏?

影子观察者是弱模型在交接后转任的角色。由于强模型是黑盒 API,无法获取内部状态,LEASH 让白盒弱模型在相同的动作 token 位置生成影子表征,用弱模型隐状态的变化替代强模型不可见的“心跳”,从而在线判断强模型是否仍在正轨。这与事后打分的轨迹裁判不同,是运行时干预。

LEASH 的消融实验显示各层贡献如何?升级机制和影子层分别带来多少提升?

消融实验(Qwen3.5-35B-A3B 骨干)显示:弱模型独立执行成功率 37.40%;加入 Manager 拆解验收后 41.15%;加入不确定性升级后跃升至 67.94%(提升 26.8 个百分点);再加入影子盯梢后达 73.66%(再提升 5.7 个百分点),而成本仅增加约 1.7%。可见升级机制贡献最大,影子层以极低成本补足剩余差距。

LEASH 在 OSWorld 基准上的具体成绩和成本是多少?与常开强模型相比如何?

在 OSWorld 上,以 Qwen3.5-35B-A3B 为骨干,LEASH 任务成功率 73.66%,常开 Claude Opus 5 为 72.90%;单任务估算成本分别为 $0.4117 和 $0.5094,LEASH 节省 19.2%。成本按固定参考价折算 token 用量得出,非真实账单。

LEASH 的升级机制为什么比随机升级更有效?

同成本对照下,LEASH 比随机升级高 9.1 个百分点,说明收益来自对“何时升级”的准确判断,而非单纯多调用强模型。升级由弱模型的步级不确定性触发,能在关键时刻将任务交给强模型,从而更高效地利用强模型资源。

LEASH 在不同开源骨干模型上的泛化表现如何?低升级率下还有收益吗?

跨骨干看,升级差距可回收 75%–102%,成本为常开强模型的 69%–81%。低升级率下也有收益:Nemotron-3 从 45.04% 升到 66.03%(升级率 43.1%),EvoCUA-8B 从 42.37% 升到 67.18%(升级率 45.4%),4 个开源骨干一致。

🏷️

标签

➡️

继续阅读