AI Gateway Alpha新增可观测性

AI Gateway Alpha新增可观测性

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

AI Gateway目前处于alpha阶段,用户可在约100个AI模型间切换,无需管理API密钥或账户。Vercel仪表板新增AI部分,提供请求、响应时间及输入输出令牌数量等指标,帮助用户分析模型性能与成本。

🎯

关键要点

  • AI Gateway目前处于alpha阶段,用户可在约100个AI模型间切换,无需管理API密钥或账户。

  • Vercel仪表板新增AI部分,提供与AI Gateway相关的指标。

  • 新增的指标包括:按模型的请求数量、首次令牌时间(TTFT)、请求持续时间、输入/输出令牌数量和每个请求的成本(在alpha阶段免费)。

  • 用户可以查看所有项目的指标,或深入了解每个项目和模型的使用情况,以评估模型性能、延迟和生产成本。

➡️

继续阅读