开源Codex神器Jev Use:浏览器自动化提速 2.6 倍

开源Codex神器Jev Use:浏览器自动化提速 2.6 倍

💡 原文中文,约4800字,阅读约需12分钟。
📝

内容提要

Jev Use 是面向 Codex 等代理的技能与运行时,通过 Jev 模型将“观察—选择—操作—验证”循环封装在单次调用中,减少代理与模型间的往返。计算器任务耗时从 19.62 秒降至 7.43 秒,文本编辑从 7.96 秒降至 3.02 秒,均提速 2.6 倍;但 Google Flights 任务协议调用减少 90% 仅提速 25%,表明收益受页面加载和模型延迟限制。

🔎

延伸解读

提速2.6倍的背后:减少往返而非模型升级

Jev Use 的提速并非来自更强的模型,而是通过将“观察—选择—操作—验证”循环封装在单次调用中,大幅减少了代理与模型之间的往返次数。计算器任务从19.62秒降至7.43秒,文本编辑从7.96秒降至3.02秒,均提速2.6倍。这揭示了浏览器自动化的一个关键瓶颈:通信开销往往比模型推理更耗时。

协议调用减少90%仅提速25%:收益受限于时间底盘

在 Google Flights 任务中,协议调用从1092次降至101次,减少90.8%,但墙上时钟时间仅从9.45秒降至7.09秒,降幅25%。这是因为 Jev 请求延迟(约300毫秒/次)、页面加载等待和文本生成模型介入构成了时间底盘。减少往返的收益有上限,取决于任务本身的时间构成。

Jev 的机制:从编号列表中选择,不猜坐标

Jev 不处理截图,而是基于原子 DOM 快照生成的编号元素表,从封闭的八个操作类型中选择一个。模型输出永远不会变成选择器、坐标或可执行代码,每个目标都解析自已观察到的节点。这提高了可靠性,但视觉专属控件和动态弹窗需主机工具介入,且页面元素超过255个时需分块处理,可能丢失跨块上下文。

适用边界:简单任务收益大,复杂页面可能缩水

Jev Use 在计算器和文本编辑等步骤少、页面状态简单的任务上表现优异,但 Google Flights 任务显示,当页面加载和模型延迟占主导时,提速倍数会缩水。此外,页面频繁重绘或元素被遮挡时,验证步骤增加,往返次数回升。Jev Use 仍属实验性,仅浏览器,且页面文本会发送至 TypeSafe 服务器,部署需谨慎。

Q&A

Jev Use 是什么?它主要解决什么问题?

Jev Use 是一个为 Codex 等代理工具设计的技能与运行时,旨在通过 Jev 模型优化浏览器和桌面自动化任务的执行效率。它主要解决代理与模型之间往返次数过多导致速度慢的问题,将“观察—选择—操作—验证”循环封装在单次调用中,减少通信开销。

Jev Use 是如何实现浏览器自动化提速的?

Jev Use 通过将高频的“选哪个元素”决策从大模型交给 Jev 模型,代理只需在任务开始时给一次方向性指导,后续每一步由 Jev 在单次网络请求中完成选择。它使用原子 DOM 快照生成编号元素表,Jev 从列表中选择操作类型和目标,从而减少代理与模型之间的往返次数。

Jev Use 在哪些任务上实现了 2.6 倍提速?具体数据是多少?

Jev Use 在计算器任务上从 19.62 秒降至 7.43 秒,在文本编辑任务上从 7.96 秒降至 3.02 秒,两个任务均提速 2.64 倍。这些数据来自三次热运行的中位数,18 次运行全部成功。

为什么 Jev Ultrafast 在 Google Flights 任务上协议调用减少 90% 却只提速 25%?

因为减少协议调用次数虽然能降低往返开销,但任务总时间还受页面加载等待、Jev 请求本身延迟(每次约 300 毫秒)以及文本生成模型介入等因素影响。在 Google Flights 任务中,这些因素构成了时间底盘,导致即使协议调用从 1092 次降到 101 次,墙上时钟时间仅从 9.45 秒降到 7.09 秒,降幅只有 25%。

Jev Use 有哪些已知的局限性和限制?

Jev Use 的局限性包括:无法处理视觉专属控件和脚本动态创建的弹窗,需要主机工具介入;页面文本会发送到 TypeSafe 服务器;当页面元素超过 255 个时,Jev 的单次选择空间被撑满,需分块和并行请求,但分块会丢失跨块上下文;连续循环在页面结构稳定时效果最好,频繁重绘或元素遮挡会导致验证步骤增加,往返次数回升。此外,它被标注为实验性、仅浏览器,且只与 Codex 的浏览器运行时测试过。

Jev Use 中 Codex、Jev 和浏览器工具各自扮演什么角色?

Codex 负责任务规划,决定任务目标、完成标准和何时介入;Jev 负责执行层面的高频选择,在每次循环中决定下一步操作哪个元素;浏览器工具负责实际执行点击、输入、滚动等操作。当连续运行器遇到需要帮助的步骤时,控制权交还给 Codex,处理后任务可重新丢回连续循环。

Jev Use 的提速效果是否适用于所有浏览器自动化场景?

不适用。Jev Use 在计算器和文本编辑任务上的 2.6 倍提速是真实的,但这些任务操作步骤少、页面状态变化简单、不需要长时间等待。对于页面加载慢、需要等待或操作步骤多的任务,提速倍数会缩水,因为页面加载和 Jev 请求延迟构成了时间底盘。Jev Ultrafast 的 Google Flights 任务只提速 25% 就是例证。

🏷️

标签

➡️

继续阅读