与Sail合作:无极限的智能体

与Sail合作:无极限的智能体

💡 原文英文,约600词,阅读约需3分钟。
📝

内容提要

Sail公司推出面向长时间运行AI智能体的推理平台,通过优化推理栈高效利用各类芯片和闲置算力,大幅降低token成本;其Sailboxes工作区可弹性伸缩CPU和内存,支持智能体持续运行数月。团队来自英伟达、苹果等,目标是让智能体无限运行、让智能普及。

🔎

延伸解读

智能体基础设施的缺口

文章指出,当前智能体需求已经出现,但支撑其长时间运行的基础设施尚不完善。传统AI交互以人类输入和等待为主,而智能体需要持续数小时甚至数天自主解决问题,这对推理平台的计算弹性和成本控制提出了更高要求。Sail正是针对这一缺口,构建面向长时间运行智能体的推理平台和运行时环境。

推理栈优化的核心思路

Sail的推理栈遵循“没有坏芯片,只有坏价格”的理念,通过重新设计推理栈,智能分配工作负载,利用闲置数据中心容量,并率先尝试新加速器,从而让每块芯片发挥更大效用。这种优化使智能体能够进行更长时间、更深入的思考,在单任务上消耗数十亿token,同时大幅降低成本。

Sailboxes的弹性与持久性

Sailboxes是Sail为智能体提供的工作区,能够根据用户需求弹性伸缩CPU和内存。当智能体等待事件或长时间工具调用时,计费几乎为零。客户可以让Sailboxes持续运行数月,文章称其“基本不朽”。这支撑了全天候安全监控、全网产品监测以及持续数月的国际象棋排行榜等用例。

团队背景与工程文化

Sail团队拥有深厚的计算基础设施经验:Neil Movva曾任职英伟达、苹果和Together AI,Samir Menon来自苹果,曾构建支持十亿用户规模的可靠系统。团队热爱性能工程,追求推理引擎的极致速度。办公室文化也颇具特色,偶尔有独轮车表演,新员工还会激烈争夺国际象棋排行榜首位。

❓

Q&A

Sail 是什么公司?它主要解决什么问题?

Sail 是一家构建面向长时间运行 AI 智能体的推理平台和运行时的公司。它旨在解决智能体运行数小时、数天甚至数周所需的基础设施问题,让智能体能够无限运行,并使智能普及。

Sail 如何降低智能体的 token 成本?

Sail 通过优化推理栈,智能地在不同提供商之间分配工作,利用闲置的数据中心容量(尤其是那些太小或太旧而无人问津的集群),并率先尝试新加速器,从而从每块芯片中榨取更多性能。这使得智能体可以思考更久、更深入,在单个任务上花费数十亿 token,但成本仅为原来的一小部分。

Sailboxes 是什么?它有什么特点?

Sailboxes 是 Sail 为智能体提供的工作区,旨在让智能体永久运行。它可以弹性伸缩 CPU 和内存,当智能体等待事件或长时间工具调用时,几乎不产生费用。客户可以让 Sailboxes 运行数月,基本上是不朽的。

Sail 的团队背景如何?

Sail 的团队来自英伟达、苹果等公司。Neil Movva 曾在 NVIDIA 极限压榨 GPU,后在苹果从事新一代 AI 加速器,又在 Together AI 回归 GPU。Samir Menon 来自苹果,构建了十亿用户规模的可靠系统。团队擅长性能工程,追求推理引擎的极致速度。

Sailboxes 有哪些实际应用案例?

Sailboxes 支持多种客户用例,包括始终在线的安全检查、监控网络上所有物理产品,甚至为 Sail 办公室一个运行了数月的国际象棋排行榜提供支持。

Sail 的愿景是什么?

Sail 的愿景是让智能普及。从芯片层面到 API,每一个决策都是为了给团队提供 token、规模和运行时,以构建无极限的智能体。

🏷️

标签

➡️

继续阅读