内容提要
Asana旗下StackAI利用GPT-6 Astra在Codex中排查浏览器代理低效问题,将原本需一两个月的研究缩短至约一周。Astra发现代理未缓存不断增长的页面历史,且频繁删减截图和文本。经144次实验优化缓存与截图策略后,在GPT-6.1 Sol上每次运行成本降至0.47美元、耗时约4分钟,比原方案便宜76倍、快5倍,且全部运行均正确完成。
延伸解读
缓存策略的关键:历史记录与截图管理
文章指出,浏览器代理最初只缓存固定指令和工具定义,却未缓存不断增长的页面文本和截图历史,导致每次请求都全价重发。更关键的是,代理几乎每一步都删减旧截图和文本,使历史不断变化,单纯缓存历史无效。优化后,代理允许截图累积到20张再批量裁剪,并扩大历史预算至48万字符,从而延长历史不变的时间段,使89%的输入来自缓存,每次调用成本降低约3倍。
成本与速度的量化对比
优化后的工作流在GPT-6.1 Sol上平均每次运行成本0.47美元、耗时约4分钟,相比原生产环境(Model B)的至少36.21美元和至少22.5分钟,成本降低76倍、速度提升5倍。即使仅对比Model B自身的优化版本(1.24美元/次),GPT-6.1 Sol仍便宜2.6倍。所有优化后的运行均正确完成任务,说明效率提升未牺牲准确性。
历史预算对任务完成率的影响
文章披露了一个容易被忽略的细节:在较小历史预算(12万字符)下,GPT-6.1 Sol仅有3/18次运行产出答案;将预算扩大至48万字符后,18次运行全部产出正确答案。这表明,对于需要跨页面收集信息的浏览器代理,保留更长的浏览历史不仅影响成本,更直接决定任务能否完成。单纯压缩上下文可能以牺牲可靠性为代价。
从实验到生产的工程化路径
Asana的实践不仅是一次调优,更展示了代理驱动实验的流程:GPT-6 Astra在Codex中映射代码库、提出修复方案,并因原代码不支持受控实验而重构为可并行运行多工作流的架构,最终完成144次实验。所有请求、数据轨迹和结果记录在Command平台, findings转为工单和拉取请求后上线。这一路径说明,要让代理高效实验,需先投入工程改造使实验可重复、可审查。
Q&A
Asana 是如何把浏览器测试的模型成本降低 76 倍的?
Asana 让 GPT-6 Astra 在 Codex 中排查浏览器代理的低效问题,发现代理未缓存不断增长的页面历史,且频繁删减截图和文本。随后通过 144 次实验优化缓存与截图策略,最终在 GPT-6.1 Sol 上把每次运行成本降至 0.47 美元,比原方案便宜 76 倍。
GPT-6 Astra 在优化过程中具体发现了哪些低效问题?
GPT-6 Astra 发现代理只缓存了固定指令和工具定义,却没有缓存不断增长的页面文本和截图历史,导致每次请求都按全价重发历史;同时代理几乎每一步都在丢弃旧截图和裁剪文本,这不仅使缓存历史失效,还可能迫使代理重新访问已读页面。
优化后的浏览器代理在成本和速度上达到了什么水平?
优化后的工作流在 GPT-6.1 Sol 上平均每次运行成本约 0.47 美元,耗时约 4 分钟,比原生产环境(Model B)便宜 76 倍、快 5 倍,并且所有运行都正确完成了任务。
Asana 的团队是如何借助 GPT-6 Astra 把研究时间从一两个月缩短到一周的?
StackAI CTO Frank Hidalgo 让 GPT-6 Astra 在 Codex 中自主运行实验:先映射代码库并解释请求构建方式,再重构代码以支持并行实验,然后执行 144 次完整研究并记录结果。Hidalgo 只需设定目标,Astra 在夜间运行,他早上审查结果,因此原本需一两个月的手工研究缩短到约一周。
优化后的缓存和截图策略具体是怎么设置的?
最佳策略允许截图累积到 20 张后再裁剪到最近一张,从而在两次删除之间更长时间保持历史不变;同时将历史预算提高到 480,000 字符。结合这两点,89% 的输入来自缓存,缓存价格为未缓存价格的 5%,使每次调用成本降低约 3 倍。
历史记录管理对代理能否给出正确答案有什么影响?
研究发现,给 GPT-6.1 Sol 更大的历史保留空间后,能给出答案的运行次数从较小预算下的 18 次中 3 次提升到 18 次全部给出,且答案全部正确。这说明历史管理直接影响代理能否完成任务并保证答案质量。
Asana 未来计划如何扩展这种实验和测试方式?
Asana 已发布 StackAI 中浏览器导航的改进,并正在开发工具让类似实验更容易重复。团队计划将这种测试纳入平台评估,让客户和内部团队在配置代理时比较成本、运行时间和答案质量。此外,Asana 正用 GPT-6 Astra 在 Codex 中测试产品功能,由 Astra 导航平台、尝试不同输入并向人工 QA 报告 bug。