在 Vercel Sandbox 上运行 Terminal-Bench 及其他 Harbor 评测
内容提要
Harbor 评测工具现可在 Vercel Sandbox 上运行。Harbor 是 Terminal-Bench 背后的开源框架，其注册表还包含 SWE-bench、tau3-bench 和 OSWorld 等基准。使用 --env vercel 参数后，每个试验都在独立的 Firecracker 微虚拟机中执行，可实现远超本地机器的并行能力。任务的网络策略在虚拟机外的沙箱防火墙上执行，可选的凭证注入会在防火墙处将密钥附加到匹配的出站请求，密钥不会进入沙箱。配合 AI Gateway，一个 API 密钥即可访问多家供应商的数百个模型，更换 --model 参数即可评测另一模型。需 Harbor 0.22.0 或更高版本。
延伸解读
并行评测的隔离机制
每个试验在独立的 Firecracker 微虚拟机中执行，因此并行能力远超本地机器。这种隔离设计意味着不同试验之间不会相互干扰，适合需要大量重复运行或高并发场景的基准测试。
网络策略与凭证安全
任务的网络策略在虚拟机外的沙箱防火墙上执行，可选的凭证注入会在防火墙处将密钥附加到匹配的出站请求，密钥不会进入沙箱。这降低了敏感信息在沙箱内泄露的风险，同时保持对外部服务的正常访问。
模型切换与多供应商支持
配合 AI Gateway，一个 API 密钥即可访问多家供应商的数百个模型。更换 --model 参数就能评测另一模型，无需修改其他配置，便于横向对比不同模型在同一基准上的表现。
版本与使用前提
使用该功能需要 Harbor 0.22.0 或更高版本。运行前需设置 VERCEL_TOKEN 和 AI_GATEWAY_API_KEY 环境变量，并通过 --env vercel 指定沙箱环境。具体步骤可参考官方指南。
Q&A
Harbor 是什么？它和 Terminal-Bench 有什么关系？
Harbor 是 Terminal-Bench 背后的开源评测框架，其注册表还包含 SWE-bench、tau3-bench 和 OSWorld 等其他基准测试。
如何在 Vercel Sandbox 上运行 Harbor 评测？
在 harbor run 命令中添加 --env vercel 参数即可，每个试验会在独立的 Firecracker 微虚拟机中执行。
在 Vercel Sandbox 上运行 Harbor 评测有什么优势？
每个试验在独立的 Firecracker 微虚拟机中执行，可实现远超本地机器的并行能力；网络策略在虚拟机外的沙箱防火墙上执行；可选的凭证注入在防火墙处附加密钥，密钥不会进入沙箱。
如何用同一个 API 密钥评测多个不同供应商的模型？
配合 AI Gateway，一个 AI_GATEWAY_API_KEY 即可访问多家供应商的数百个模型，更换 --model 参数即可评测另一模型。
运行 Harbor 评测需要什么版本？
需要 Harbor 0.22.0 或更高版本。
凭证注入是如何保证密钥安全的？
可选的凭证注入会在虚拟机外的沙箱防火墙上将密钥附加到匹配的出站请求，因此密钥永远不会进入沙箱。
