AI智能体可能无报错却答错，传统监控因此失效，需引入可观测性。核心手段包括结构化日志、OpenTelemetry追踪与调试：日志须带trace ID；追踪用gen_ai.*跨度构建父子瀑布图，定位重复工具调用；指标跟踪token成本与延迟。采集器可采样并脱敏。常用工具如Langfuse、LangSmith。

rpi-langfuse 安装后零配置自动追踪 Agent 生命周期，通过 12 个事件处理器将 Session、Agent、Provider、Tool、Turn 等事件映射到 Langfuse 的 trace、generation、span，记录模型调用、Token 消耗、工具执行、延迟等数据，并在 Dashboard 展示追踪概览、成本分析与延迟监控。

TypeSafe推出专用判别模型Jev，放弃文本生成，专注分类、评分、路由等判断题，成本比大模型低40至400倍。支持Choice、Score、Noul三种问题类型，可一次请求并行多问。实测与Claude一致率91.5%，但存在不能弃权、不解释、上下文腐烂三大短板。文章还给出其与Langfuse联动自动打分的代码，并讨论System 1与System 2分工。

随着代理能力的提升，调试变得更加复杂。文章探讨了如何通过集成Langfuse来增强可观察性，记录代理的决策与行为，以识别问题和成本。可视化追踪帮助开发者理解代理行为，发现错误并优化性能。

LangFuse是一个开源平台，专为大语言模型（LLM）应用提供全链路监控，帮助开发者调试和优化。它支持自动捕获日志、Token成本和延迟，具备Prompt版本管理和在线评估功能，适合中小团队在RAG和AI客服等场景中快速应用。

本文介绍了如何通过Langfuse提升大模型（LLM）和多智能体（Agents）的可观测性。Langfuse是一个开源平台，提供追踪功能，帮助开发者监控LLM的调用路径、响应时间和成本等关键指标。文章展示了Langfuse与OpenAI和Anthropic的集成案例，以及单智能体和多智能体的应用场景，从而优化LLM应用的稳定性和性能。

Langfuse团队推出了与LlamaIndex的集成，旨在简化RAG应用的可观察性和实验。用户可以通过简单的代码追踪RAG应用的性能，包括延迟和使用情况。该集成支持会话跟踪和用户管理，便于调试和优化应用。Langfuse现已支持超过1000个项目，提供开源平台以促进LLM工程。