DigitalOcean Signals与Simulations全新发布：洞悉智能体与模型在生产环境中的真实表现，上线前先验证修复效果
内容提要
DigitalOcean推出Agent Learning Services的两项新功能：Signals监控生产流量，自动识别用户不满、工具故障及基础设施问题，通过低成本筛选定位问题会话，可一键转为评估场景；Simulations基于真实流量生成多轮测试场景，在隔离沙箱中模拟用户与智能体交互，评估修复效果，支持Claude Code等框架。两者均处于公开预览阶段。
延伸解读
Signals 如何低成本定位问题会话
面对超过 100 GB/s 的原始追踪数据，用大模型逐条评估成本过高。Signals 采用低成本初筛，先找出值得细看的会话。论文显示，在 τ-bench 基准的对照研究中，该方法信息量率达 82%，效率是随机采样的 1.52 倍。被标记的会话可一键转为评估场景，省去手动准备测试数据。
Simulations 的隔离测试与回归对比
Simulations 在 Harness Runtime 的隔离沙箱中运行候选智能体，使用与生产相同的配置和 Action Gateway 工具，但写数据或花钱的工具可设为模拟，避免影响线上系统。每个场景多次运行，由 LLM 裁判按用户目标完成度、知识保留、工具使用准确性等指标评分。通过对比基线与候选，能清晰看出哪些改进、哪些退化。
适用边界与预览阶段限制
Signals 在智能体运行于 Managed Agents 且模型使用 DigitalOcean Inference Engine 时效果最佳，且为可选加入，设计上会在处理前脱敏 PII，追踪数据保留在团队边界内，不用于跨客户模型训练。Simulations 支持 Claude Code、Codex、OpenCode 等 Harness Runtime 支持的框架，但预览阶段不支持 LangChain、Hermes、CrewAI 等第三方智能体。若只需在固定提示下比较两个模型，单轮 Evaluations 仍是合
Q&A
DigitalOcean Signals 和 Simulations 是什么？它们的主要功能是什么？
DigitalOcean Signals 和 Simulations 是 DigitalOcean Agent Learning Services 的两项新功能。Signals 监控生产流量，自动识别用户不满、工具故障和基础设施问题，并将问题会话一键转为评估场景；Simulations 基于真实流量生成多轮测试场景，在隔离沙箱中模拟用户与智能体交互，评估修复效果，支持 Claude Code 等框架。两者均处于公开预览阶段。
Signals 如何检测智能体在生产环境中的问题？
Signals 通过将对话轮次拼接成会话，并从三个维度分类：交互信号（跟踪用户情绪，如纠正、升级、退出）、执行信号（跟踪工具可靠性，如无效参数、重试循环）和环境信号（跟踪基础设施，如超时、速率限制、上下文溢出）。它使用低成本初筛定位值得关注的会话，在 τ-bench 基准测试中实现了 82% 的信息率和 1.52 倍的效率提升。
Simulations 如何帮助测试智能体的修复效果？
Simulations 基于真实生产流量生成多轮测试场景，在隔离沙箱中运行候选智能体，使用与生产相同的配置和工具。用户模拟器逐轮扮演角色，每个场景运行多次，由 LLM 评判器根据用户目标完成度、知识保留、工具使用准确性等指标评分。通过对比基线和候选版本，可以明确改进和回归之处。
Signals 和 Simulations 如何协同工作？
Signals 监控生产流量并标记问题会话，这些会话可以一键转化为评估场景。Simulations 则利用这些场景（或基于配置生成）来测试修复效果。两者共享相同的 Evaluations 评分器，形成一个闭环：Signals 发现问题，Simulations 在部署前验证修复。
使用 Signals 和 Simulations 有哪些数据隐私和安全措施？
Signals 是选择加入的，设计上会在处理前脱敏 PII，并将跟踪数据和基于跟踪的评估保留在您的 DigitalOcean 团队边界内，绝不用于跨客户模型训练。Simulations 在隔离沙箱中运行，写入数据或产生费用的工具可以模拟运行，避免接触生产系统。
Signals 和 Simulations 目前支持哪些框架？有哪些限制？
Simulations 支持 Harness Runtime 支持的任何框架，包括 Claude Code、Codex 和 OpenCode。但在此预览版中不支持第三方智能体如 LangChain、Hermes 和 CrewAI。如果只想在固定提示上比较两个模型，单轮 Evaluations 仍是更合适的工具。
