内容提要
Cognition 为了让 AI 工程师 Devin 开发苹果应用,在 Amazon EC2 Mac 裸金属主机上为每个会话启动 macOS 虚拟机,不到一分钟即可就绪,六周内已有近千个组织使用。该方案通过磁盘快照保存会话状态、用户态以太网网关执行网络策略、预配置镜像,并借助辅助功能树让 Devin 操作原生应用,同时支持实时查看和操作应用。
延伸解读
会话与主机解耦:快照让 Mac 容量按需流转
Cognition 将 Devin 会话的生命周期与 EC2 Mac 专用主机的生命周期分离。每个主机至少需保留 24 小时,但会话空闲时其 macOS 虚拟机可被释放,状态通过磁盘快照保存,恢复只需数秒。文章称约 90% 的会话在空闲时让出 Mac 虚拟机,且平均每个会话会多次释放和重新获取虚拟机。这意味着同一台主机一天内可服务多个会话,避免为闲置会话长期占用昂贵的 Mac 资源。
网络策略自建网关:绕开 NAT 与 pf 的配置竞争
Apple 虚拟化框架的 NAT 方式会与 Cognition 自身用于网络控制的 pf 规则产生竞争,因此 Cognition 选择文件句柄附件,并在用户态构建独立的以太网网关。每个 Mac 虚拟机拥有自己的网关和会话策略执行点,网关会校验源 IP 与分配地址是否一致,再将允许的流量交给主机上的 pf 规则和代理。这种设计让每个会话的网络访问规则相互隔离,同时避免依赖 Apple 的 NAT 实现。
预配置镜像与辅助功能树:让智能体绕过人工授权和像素猜测
全新 macOS 安装会弹出辅助功能、屏幕录制等权限对话框,阻塞 Devin 直到人工批准。Cognition 在主机上直接挂载并修改客户机镜像,预先创建用户并更新系统配置数据库,使权限在首次启动前就位。此外,Devin 通过辅助功能树查询控件角色、名称和状态,再执行操作并复查变化,而非仅靠截图找像素。文章指出,截图仍用于检查视觉结果,因为部分应用行为不会体现在辅助功能树中。
实时查看的取舍:限制帧积压并跳过陈旧画面
用户可通过 VNC 视图和 iOS 模拟器窗格观看并接管 Devin 的操作。为保证响应速度,Cognition 限制各阶段之间可等待的帧数,不重放过期积压。当模拟器视频流落后时,会从最近的关键帧重新开始或请求新关键帧,并跳过错过帧。文章提醒,若某一阶段处理不过来,画面可能看起来流畅但实际显示旧状态,例如用户按下暂停后仍看到游戏在动。这种设计优先保持视图当前,而非完整回放每一帧。
Q&A
为什么 Cognition 要让 Devin 使用 macOS 环境?
因为为 iPhone、iPad 和 Mac 构建、测试和签名应用需要 Apple 硬件和 macOS,而 Devin 之前只能在 Linux 和 Windows 虚拟机上运行,无法运行或测试应用,只能依赖客户的 CI 系统或 Mac 设备。
Cognition 如何为每个 Devin 会话快速提供 macOS 虚拟机?
Cognition 在 Amazon EC2 Mac 裸金属主机上使用 Apple Virtualization 框架,从预配置的镜像启动 macOS 客户虚拟机,不到一分钟即可就绪,比客户自行设置 Mac 主机快 15–20 倍。
Devin 的 macOS 会话如何保存状态并释放资源?
通过磁盘快照系统保存会话状态:当客户机关闭时,存储进程会持久化待写入数据并上传快照,空闲会话会释放虚拟机供其他会话使用,约 90% 的会话在空闲时放弃 Mac 虚拟机,并在几秒内从快照恢复。
Cognition 如何对 Devin 的 macOS 虚拟机实施网络访问控制?
Cognition 构建了用户态以太网网关,每个 Mac 虚拟机有独立的网关和会话策略执行,网关验证以太网地址和源 IP,然后将允许的 IP 包传递到主机上的隧道接口,由 pf 规则和代理应用会话访问策略。
Devin 如何操作 macOS 原生应用并验证行为?
Devin 通过辅助功能树查询控件(如按钮的角色、名称),然后对返回的引用执行操作(如按下),并再次读取树以确认变化;同时仍依赖截图检查应用外观,因为某些视觉状态无法从树中获取。
使用 Amazon EC2 Mac 为 AI 智能体规划 macOS 机群时需要注意哪些限制?
每个专用主机运行一个 Mac 实例,最低分配期为 24 小时;可通过跨账户共享专用主机;Mac 实例按需提供,可使用 Savings Plan 降低成本;实例类型仅在特定区域可用,需提前检查区域支持。