在.NET应用程序中更好地监控您的AI代理
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
本文介绍了为.NET应用程序开发的Agent Monitoring SDK，支持监控LLM调用和工具使用。通过Sentry.Extensions.AI，用户可轻松集成监控，捕获输入输出和令牌计数，实现AI行为的可视化。该SDK兼容Microsoft.Extensions.AI.Abstractions，支持任何实现IChatClient的LLM库，提升监控灵活性和透明度。
🎯
关键要点
- 推出了用于.NET应用程序的Agent Monitoring SDK，支持监控LLM调用和工具使用。
- Sentry.Extensions.AI是.NET LLM包的插入式监控层，支持监控LLM调用、输入输出、令牌计数等。
- AI.Abstractions包是许多其他库的低级契约层，包含生成AI的接口和数据模型。
- 用户可以使用任何实现IChatClient的LLM库，提升监控灵活性。
- Sentry.Extensions.AI通过包装现有的IChatClient和工具，自动监控LLM调用和工具调用。
- 在代码中使用AddSentry可以捕获请求和响应，测量操作时间，记录令牌使用和错误。
- 处理流式响应和多步骤工具调用循环是SDK开发中的挑战。
- 创建了一个代理跨度，表示整个LLM交互的持续时间，包括工具调用和文本生成。
- 通过ActivityListener与FunctionInvokingChatClient的现有遥测集成，创建了顶级跨度以表示完整的代理/工具编排。
- Microsoft.Extensions.AI.Abstractions为许多AI库奠定基础，未来可以扩展到跟踪多步骤代理工作流和可视化工具编排。
➡️
