使用Vercel Drains导出AI Gateway追踪

使用Vercel Drains导出AI Gateway追踪

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

AI Gateway现为每个请求生成OpenTelemetry追踪,Pro和企业团队可通过Vercel Drains发送至OTLP/HTTP端点,支持Braintrust、Dash0等集成。追踪涵盖模型路由、重试、令牌成本及延迟等,不含提示内容。费用为每千条追踪0.05美元,另加数据传输费,失败投递不收费。

🔎

延伸解读

成本核算与计费细节

AI Gateway追踪的费用为每千条成功投递的追踪0.05美元,另加标准Drains数据传输费(每GB 0.50美元)。注意,一次请求即使触发多次提供商重试,也仅按一次成功投递计费;投递失败不产生追踪费用。这有助于团队预估成本,但需留意数据传输量可能随采样率变化。

隐私与数据安全

追踪数据不包含提示或完成内容,仅涵盖路由、重试、令牌使用、成本、延迟及归属信息(如项目、部署、API密钥、环境)。这降低了敏感数据泄露风险,但团队仍需确保OTLP端点安全,并考虑采样率以控制数据量。

集成与配置要点

Pro和企业团队可通过Vercel Drains将追踪发送至任何OTLP/HTTP端点,并支持Braintrust、Dash0、Kubiks、Sentry和Statsig等原生集成。配置时需选择项目并设置采样率,以控制导出流量。追踪事件可按计数、项目、Drain或来源查看,便于监控和调试。

Q&A

AI Gateway的追踪功能是什么?

AI Gateway现在为每个请求生成一个OpenTelemetry追踪,Pro和企业团队可以通过Vercel Drains将这些追踪发送到任何兼容OTLP/HTTP的端点。

如何配置AI Gateway的追踪导出?

在团队的Drains设置中配置AI Gateway Trace Drain,选择项目并设置采样率,即可将追踪发送到OTLP/HTTP端点。

AI Gateway追踪包含哪些信息?

每个追踪显示完整的请求生命周期,包括模型和提供商路由、回退和重试尝试、令牌使用和成本、首令牌时间、请求持续时间和响应状态,以及项目、部署、API密钥、环境和自定义标签归属。

AI Gateway追踪是否包含提示或完成内容?

不包含。Trace Drains不包含提示或完成内容,以保护数据隐私。

AI Gateway追踪的费用是多少?

每条成功投递的追踪收费0.05美元,另加标准Drains数据传输费(每GB 0.50美元)。失败投递不收费。

AI Gateway追踪支持哪些集成?

支持Braintrust、Dash0、Kubiks、Sentry和Statsig等原生集成,也可以发送到任何OTLP/HTTP兼容端点。

如何监控AI Gateway追踪的投递情况?

可以按计数、项目、Drain或来源查看已投递的AI Gateway追踪事件。

🏷️

标签

➡️

继续阅读