【大模型基础设施工程】23：LLM 可观测性
💡
原文中文，约25100字，阅读约需60分钟。
📝
内容提要
大模型系统的可观测性与传统微服务不同，需关注请求成本、延迟和正确性等多维度指标。文章提出四层观测模型：基础设施层、调用层、质量层和业务层，并推荐使用多种工具（如Langfuse、Helicone等）进行监控。可观测性应能快速定位问题并修复，以确保用户体验。
🎯
关键要点
-
大模型系统的可观测性与传统微服务不同，需关注请求成本、延迟和正确性等多维度指标。
-
提出四层观测模型：基础设施层、调用层、质量层和业务层。
-
推荐使用多种工具（如Langfuse、Helicone等）进行监控。
-
可观测性应能快速定位问题并修复，以确保用户体验。
❓
延伸问答
大模型系统的可观测性与传统微服务有什么不同？
大模型系统的可观测性需要关注请求成本、延迟和正确性等多维度指标，而传统微服务主要关注CPU秒和单一延迟。
可观测性四层模型包括哪些层次？
可观测性四层模型包括基础设施层、调用层、质量层和业务层。
有哪些工具可以用于监控大模型的可观测性？
推荐的工具包括Langfuse、Helicone、LangSmith等。
如何快速定位和修复大模型系统中的问题？
可观测性应能在5分钟内定位问题，并在3小时内修复，以确保用户体验。
大模型系统的延迟指标有哪些？
主要延迟指标包括TTFT（Time To First Token）、TPOT（Time Per Output Token）和E2E（End-to-End Latency）。
在大模型系统中，如何评估生成内容的质量？
质量评估可以通过用户反馈、幻觉检测和在线评估等方式进行。
➡️
