我们如何为编码代理构建AEO跟踪系统

AI改变了人们获取信息的方式，企业需要理解大型语言模型（LLMs）如何搜索和总结其网站内容。

Vercel正在构建AI引擎优化（AEO）系统，以跟踪模型如何发现、解释和引用Vercel及其网站。

最初的原型仅关注标准聊天模型，但很快意识到需要跟踪编码代理以获得完整的可见性。

编码代理的行为与标准模型大相径庭，许多用户在终端或IDE中与AI交互，搜索行为在20%的提示中发生。

测量编码代理的AEO需要不同于模型测试的方法，编码代理在项目中运行，期望完整的开发环境。

Vercel Sandbox通过提供短暂的Linux MicroVM解决了执行隔离和可观察性的问题。

每个代理运行遵循相同的六步生命周期，包括创建沙箱、安装CLI、注入凭证、运行代理、捕获记录和拆除沙箱。

代理的生命周期可以通过简单的配置对象定义，添加新代理只需添加新条目。

使用AI Gateway集中管理成本和日志，代理在沙箱中通过环境变量与其提供者的基本URL进行交互。

每个代理生成的原始记录格式不同，构建了四阶段的归一化层以解决这一问题。

第一阶段是捕获转录，第二阶段是解析工具名称和消息结构，第三阶段是丰富数据，第四阶段是汇总和品牌提取。

整个管道作为Vercel工作流运行，针对标记为“代理”类型的提示并行处理所有配置的代理。

编码代理在网络搜索中贡献了相当大的流量，早期测试显示编码代理约20%的时间执行搜索。

代理的建议与模型响应不同，通常嵌入在输出中，而不仅仅是以散文形式提及。

转录格式混乱，早期构建归一化层避免了不断的破坏。

相同的品牌提取管道适用于模型和代理，关键在于获取代理运行、捕获其行为并将其标准化。