Claude 平台现已在 Databricks MLflow 中支持原生 OpenTelemetry 可观测性
内容提要
Databricks MLflow 现已支持原生接收 Claude 平台的 OpenTelemetry 追踪数据，开发者可将 Anthropic SDK、Messages API 及托管代理的追踪发送至 Databricks，用于调试代理并评估改动。追踪数据经 Zerobus 低延迟写入 Unity Catalog 表，兼顾高吞吐与数据治理。借助 Genie Code 可分析失败原因，MLflow Issues 能识别重复问题并持续监控，评审队列可引入领域专家反馈，Agent Evaluation 则对比改动前后的表现，判断代理是否改进或退化。
延伸解读
追踪数据落地Unity Catalog的意义
文章指出，Claude的OpenTelemetry追踪数据经Zerobus低延迟写入Unity Catalog表，并与MLflow实验关联。这意味着企业既能以高QPS接收追踪，又能利用Unity Catalog治理对敏感数据的访问，还可直接用SQL查询。对于需要审计代理行为或控制数据权限的团队，这种存储方式比单纯将追踪保存在MLflow后端更具可控性。
从调试到评估的闭环工具链
追踪到达MLflow后，可用于调试、专家评审和版本评估。Genie Code能分析单条追踪，解释失败原因；MLflow Issues（Beta）可识别重复出现的问题并安排检测；Review Queues引入领域专家反馈；Agent Evaluation则对比改动前后的表现。这些工具覆盖了从发现问题到验证修复的完整流程，但需注意Issues仍处于Beta阶段。
接入前需留意的配置细节
文章提到，要捕获输入和输出内容，必须将content mode设为“full”并主动选择加入，否则追踪中不会包含这些信息。此外，设置Databricks目标需要工作区ID、区域和spans表，并需获取表级OAuth令牌。详细设置指南还涉及权限和SQL仓库要求。开发者在接入前应确认这些前提，避免追踪数据不完整或连接失败。
Q&A
Claude 平台如何将追踪数据发送到 Databricks MLflow？
Claude 平台通过原生 OpenTelemetry 导出，将追踪数据发送到 Databricks MLflow。开发者使用 Anthropic SDK、Messages API 或 Managed Agents 时，Claude 的原生插桩会生成 spans，并通过 OpenTelemetry 协议导出。Databricks 通过 Zerobus Ingest 接收这些 spans，并将其存储在链接到 MLflow 实验的 Unity Catalog 表中。
使用 Zerobus 和 Unity Catalog 存储追踪数据有什么好处？
Zerobus 和 Unity Catalog 的结合为企业带来两个关键优势：一是高 QPS 下的低延迟追踪数据摄取，二是能够对代理追踪中存储的敏感数据进行访问治理。Unity Catalog 控制数据访问，并支持使用 SQL 查询数据。
如何在 Databricks 中创建用于存储 Claude 追踪的 MLflow 实验？
在 Databricks 中，打开 Experiments 选项卡并点击 Create Experiment。在 Trace storage location 下，保持选中 Unity Catalog，然后选择一个现有的 catalog 和 schema。这会创建新的 MLflow 实验，并链接到存储 OpenTelemetry 追踪的 Unity Catalog 表。
MLflow 的 Analyze trace 功能如何帮助调试 Claude 代理？
MLflow 的 Analyze trace 功能会调用 Genie Code 来检查记录的代理执行过程，帮助解释哪里出了问题。你可以针对缺失的上下文、失败的工具调用或昂贵的步骤提出后续问题，以检查解释背后的相关上下文。这有助于决定是修改指令、改进工具还是调整代理可用的上下文。
MLflow Issues 能识别哪些类型的代理问题？
MLflow Issues（Beta）使用 Genie Code 识别重复出现的质量和操作问题。它会检查响应、工具调用、时序、错误和评估，然后将相关发现分组并链接到支持性追踪。示例包括浪费 token 的重复搜索、导致工具失败的缺失参数以及不遵循所需格式的响应。
如何评估对 Claude 代理的修改是否有效？
对 Claude 追踪运行 MLflow Agent Evaluation，可以测试对提示、技能或工具的修改是改进还是退化了代理。例如，可以执行 LLM 评判器来检查代理是否进行了冗余的工具调用。当原始代理和修改后的代理针对相同案例运行时，可以使用相同的评判器比较它们的评估运行，在 MLflow UI 中点击 Compare 并排查看分数和响应，并利用底层追踪解释剩余的失败。
