碎片:11月10日

碎片:11月10日

💡 原文英文,约1700词,阅读约需6分钟。
📝

内容提要

Thoughtworks技术雷达指出,近半年AI仍为主导趋势。智能体AI从试点走向企业运营后,带来共享上下文、token成本、认知负荷、安全与平台建设等新问题,需统筹应对,技术应服务于人。数据中心建设遭两党反对,可能推高token成本并利好已建成者;token按API计费补贴不明显,订阅制则有补贴;模型可通过权重理解并编程;此外还提出评估智能体上下文质量的CAFE(S)框架,并指出验证会消耗大量token。

🔎

延伸解读

从试点到运营:智能体AI的规模化挑战

文章指出,一个小团队可以靠共享上下文、信用卡和心智模型让智能体AI运转,但两百人的组织无法照搬。当智能体AI成为运营模式而非试点时,会浮现共享上下文、token账单、审查需求增加、权限边界以及平台责任归属等第二层问题。这些问题彼此关联,企业需统筹应对,而非孤立解决。

数据中心反对声浪的连锁反应

两党对数据中心的反对可能减少token供应,推高token成本,从而利好已建成数据中心的企业。文章还提出一个反直觉观点:已建成数据中心的企业可能暗中游说支持监管,以阻止新竞争者进入。此外,美国以外地区及苹果等边缘计算受益者也可能从中获得相对优势。

token补贴与验证成本的真实图景

文章引用分析称,按API计费的token成本似乎没有显著补贴,但订阅制存在补贴。同时,Cindy Sridharan指出其每日token支出的70%用于验证补丁,仅20-30%用于生成。这与企业场景中验证和评估消耗大量token的现象一致,提示读者关注智能体工作流中验证环节的成本占比。

评估智能体上下文质量的CAFE(S)框架

文章介绍Houck等人提出的CAFE(S)框架,用于描述智能体所组装上下文的质量。智能体可能从源代码、规格、问题跟踪器、聊天记录等多来源提取信息,单个来源有用并不代表组合后的上下文适合任务。该框架还列出若干“上下文异味”,为思考如何为智能体提供合适上下文提供了结构化视角。

❓

Q&A

智能体AI从试点走向企业运营后,会带来哪些新问题?

会带来共享上下文、token成本、认知负荷、安全与平台建设等问题。这些问题彼此关联,需要统筹应对。

为什么说数据中心建设受阻会推高token成本?

两党反对数据中心建设会减少token供应,导致token成本上升,从而让已建成数据中心的所有者利润增加。

token按API计费是否存在明显补贴?

根据Hadley Wickham的分析,按每token的API计费方式并没有显著补贴,但订阅制计划存在补贴。

什么是Weight-Space Programming?

指模型通过直接查看和编辑权重来理解网络功能或编写新网络的能力。例如GPT-6 Astra能仅凭原始权重判断网络训练目标,并从头编写小游戏网络。

CAFE(S)框架用来评估什么?

CAFE(S)框架用于描述和评估提供给智能体的组装上下文的质量,涵盖五个维度,并列出常见的“上下文异味”。

在智能体使用中,验证环节消耗的token占比如何?

Cindy Sridharan指出,她每日token花费的70%用于验证补丁,只有约20-30%用于创建补丁。企业场景中验证消耗的token也远多于生成响应。

🏷️

标签

➡️

继续阅读