内容提要
YC Paper Club分享指出,模型智商提升有限,真正决定智能体能力的是Harness(运行时/脚手架)。同一Claude Opus权重,裸跑ARC-AGI仅30%正确率,套用合适Harness可达95%。Harness从静态工具演化为可自我修改系统,如Prime Agent分层记忆、Open Jarvis降本800倍、QM下放决策权,成为竞争新高地。
延伸解读
Harness 是模型能力落地的关键
文章强调,模型权重本身只是序列处理器,真正决定智能体表现的是 Harness——即模型与真实世界之间的接口层,包括工具、记忆、循环和权限等。同一模型在不同 Harness 下表现差异巨大,ARC-AGI 测试中从 30% 提升到 95% 甚至 100% 的案例,说明工程优化比模型升级更能带来实际收益。
Harness 正从静态走向自我进化
文章指出,Harness 的演化已从静态脚手架进入能自我修改的阶段。DSPy 通过遗传编程优化提示词,Darwin 机器允许修改 Harness 代码本身,Continual Harness 则引入在线学习。这意味着 Harness 不再只是人工设计的固定框架,而是能根据任务反馈持续改进的系统,成为竞争新高地。
记忆分层与决策下放是设计要点
从 Prime Agent、Open Jarvis 和 QM 的案例中,可提炼出共性设计原则:记忆需分层管理,类似 CPU 缓存,避免上下文无限膨胀;决策权应尽量下放给 Agent,如让 Agent 自行选择沙盒或模型供应商;同时要给 Agent 设置最低耗时或 token 预算,防止过早放弃,提升长任务质量。
本地化部署的成本优势与风险
Open Jarvis 项目显示,通过云端大模型优化本地小模型的 Harness 配置,可在部分任务上达到与云端模型相当的性能,成本最高降低约 800 倍,延迟也显著下降。但文章也提醒,本地模型仍有不足,差距在收窄但未完全消除,且优化器的选择具有通用性,说明该路径可行。
Q&A
什么是Harness?为什么它比模型本身更重要?
Harness是加在模型和真实世界之间的一层运行时/脚手架,包括系统提示词、工具调用、记忆管理、循环控制、权限系统等。它决定了模型能否将智能转化为实际生产力。文章指出,同一份Claude Opus权重,裸跑ARC-AGI只有30%正确率,套上合适的Harness后可达95%,说明模型智商提升有限,真正决定Agent上限的是Harness。
Harness的演化经历了哪些阶段?
Harness的演化从GPT-2的裸循环开始,经历了Few-shot、思维链、工具调用(如WebGPT、Toolformer)、记忆管理(如MemGPT)、技能(如Voyager)、多智能体反思(如ReAct、Self-Refine、Reflexion)以及递归语言模型(RLM)等阶段。最近半年,Harness从静态脚手架进化为能自我修改的系统,代表工作包括DSPy、Darwin机器和Continual Harness。
Prime Agent是如何通过分层记忆提升性能的?
Prime Agent将记忆按访问速度和持久性分为L1/L2/L3三层,类似CPU缓存体系。它还将子智能体做成持久化子会话,任务完成后不消失,可随时继续工作,解决了上下文丢失问题。团队在ARC-AGI-3上通过调优达到接近满分,并进行了7天、633个智能体的长程实验,智能体持续取得进展。
Open Jarvis如何实现成本降低800倍?
Open Jarvis将个人AI的核心栈完全放到本地设备上运行,包括模型推理、智能体执行、记忆与学习。他们用云端大模型自动优化本地小模型的Harness配置,但推理阶段不产生云端调用费用。经过优化,本地配置在部分任务上能与云端模型打平,成本最多降低约800倍,延迟也显著下降。
YC的QM项目在Harness演进中遇到了哪些问题?
QM项目经历了四代演进,关键转折是发现将智能体大脑绑定在沙盒电脑上会导致管理成本失控和会话记录锁定。他们改为将对话和状态统一卸载到Postgres,沙盒作为按需资源,决策权下放给Agent。此外,他们还遇到Agent过早放弃、搞不清处境、权限与社交常识缺失、人类审核橡皮图章化等问题,并提出了相应解决方案。
从这三个案例中可以提炼出哪些Harness设计原则?
设计原则包括:把决策权下放给Agent;记忆分层管理;Harness尽量精简;给Agent足够的耐力(如死磕机制);信任建立需伴随持续审查。这些原则有助于提升Agent的长程任务质量和可靠性。
为什么说Harness是未来的竞争高地?
因为模型能力的边际提升开始放缓,而Harness的改进能带来显著性能提升,如ARC-AGI从30%到95%甚至100%的跃迁。Harness从静态脚手架进化为能自我修改的系统,成为决定Agent上限的关键因素,因此被视为下一个竞争高地。