DigitalOcean Signals：面向 AI 代理与推理的可观测性
内容提要
DigitalOcean 推出 Signals 公开预览版，用于监控生产环境中的 AI 代理对话，可自动识别用户受挫、代理循环、工具失败、限流、上下文耗尽等问题，并定位到具体步骤。信号基于确定性规则计算，无需调用模型，成本低且结果一致。在 τ-bench 测试中，82% 被标记的会话具有参考价值。信号默认关闭，数据保留在团队边界内，可导出为数据集用于评估、仿真和微调。
延伸解读
信号是分诊工具，不是评分
文章强调 Signals 不给出“好坏”结论，而是标记值得复查的会话。它基于确定性规则计算，无需调用模型，因此成本不随流量增长，且同一对话每次产生相同信号。在 τ-bench 测试中，82% 被标记会话具有参考价值，而随机选取的会话为 54%。这意味着团队可用相同审查预算找到约 1.5 倍有用案例，但生产环境结果可能不同。
默认关闭与数据边界
Signals 默认关闭，按环境启用，且只分析启用后开始的对话。对话内容保留在团队边界内，不用于跨客户模型训练。导出时会从自由文本中脱敏个人信息，但由导出轨迹创建的场景会使用未脱敏版本以保持保真度，仅在向用户展示场景时脱敏。关闭后停止收集新对话，删除请求会移除已收集数据。
从生产会话到评估闭环
被标记的会话可导出为数据集，用于 DigitalOcean Evaluations 评分、Simulation 场景验证，或作为微调、强化学习的奖励与偏好数据。文章指出，来自生产的失败案例比合成案例更贴近真实困境，且满意信号也能帮助构建“好例子”数据集。导出文件保留七天，目前需通过 API 或 doctl 操作，控制台体验尚待推出。
预览阶段的限制与后续
Signals 处于公开预览阶段，需要 doctl 1.181.0 或更高版本及相应权限令牌，免费试用账户暂不可用。信号通常在会话空闲后 30 分钟内出现，视图指标可能延迟至多一小时。当前仅支持 Harness Runtime 和 Inference Engine，Inference 信号只能通过 API 和 doctl 启用与读取。后续计划包括 Action Gateway 工具调用遥测、定时导出和信号分类扩展。
Q&A
DigitalOcean Signals 是什么？它主要解决什么问题？
DigitalOcean Signals 是 DigitalOcean 推出的公开预览版可观测性工具，用于监控生产环境中的 AI 代理对话。它解决的是传统指标无法反映代理运行质量的问题：指标只能告诉你运行完成，但无法判断运行是否顺利。Signals 将对话转化为结构化行为信号，自动识别用户受挫、代理循环、工具失败、限流、上下文耗尽等问题，并定位到具体步骤。
Signals 是如何检测问题的？需要调用大模型吗？
Signals 基于确定性规则从交互本身计算信号，无需调用模型。因此检测成本低且结果一致，同一对话每次都会产生相同的信号。它作为第一轮筛选，决定哪些对话值得人工审查或更昂贵的 LLM 评判，从而避免对全部流量支付高额评判费用。
Signals 能识别哪些类型的问题？
Signals 可检测 25 种信号类型，分为七个类别、三个层次。具体包括用户受挫、代理循环、工具持续失败、会话触发限流、上下文耗尽等。此外还有满意度信号，标记用户确认答案、表示感谢或达成目标的会话。每个信号都指向对话中产生它的确切步骤。
Signals 的准确率如何？有相关测试数据吗？
在 τ-bench（工具使用代理的标准基准）的受控研究中，标注人员发现 Signals 标记的会话中有 82% 具有参考价值（显示真实失败或值得学习的好例子），而随机选择的会话中该比例为 54%。这意味着在相同审查预算下，审查者阅读被标记会话能找到约 1.5 倍的有用案例。
如何启用 Signals？数据隐私如何保障？
Signals 默认关闭，需按环境启用。启用后仅分析之后开始的对话。需要 doctl 1.181.0 或更高版本，以及具有 signals:query 和 signals:update 权限的令牌。对话内容保留在团队边界内，不会用于跨客户模型训练。导出时会脱敏自由文本中的个人信息。关闭 Signals 会停止收集新对话，删除请求会移除已收集数据。
Signals 标记的会话可以用于哪些后续工作？
被标记的会话可导出为数据集，用于 DigitalOcean Evaluations 评估新提示、工具配置或模型；也可作为 Simulation 场景验证修复是否在整个对话中有效；还可作为微调数据，或用于强化学习的奖励与偏好数据。由于好例子和失败案例都会被标记，可以构建“好”与“坏”两种数据集。
