第五部分：运营LLM系统：可观测性、成本、路由与底层平台
内容提要
LLM生产系统成熟度模型第五级聚焦可运维性：所有模型流量经统一网关，以decision_id串联指标、日志、追踪与账本；监控决策而非仅服务，控制成本与预算，支持按需路由与故障转移，并设置秒级生效的熔断开关；平台层用六边形架构隔离供应商，身份校验租户与权限，基础设施按需精简配置。
延伸解读
可观测性：从服务指标转向决策指标
传统RED指标只能说明服务是否存活，无法反映LLM决策的质量与安全。文章建议增加决策层指标，如自动执行比例、护栏拦截次数、成本与人工覆盖比例。这些指标需按租户和能力打标签，但要注意高基数问题。告警应针对症状而非原因，例如自动执行比例波动、护栏拦截激增、成本超预算等，并设置合理的SLO。
成本控制：统一网关与结构性杠杆
LLM成本在账单前不可见，且随调用次数、重试和冗长提示词放大。文章强调所有模型调用必须经过统一网关，以便按租户、能力和模型归因成本。控制杠杆按回报排序：能不调用模型就不调用、批处理、缓存、模型右尺寸化、精简提示词。同时需设置租户级预算和速率限制，并警惕重试风暴和无界工具循环这两个隐性成本倍增器。
路由、故障转移与熔断开关
生产系统应视模型为可路由的舰队，而非单一模型。根据决策需求路由：低风险用廉价模型，高风险用能力模型，评判模型需独立于主模型。故障转移时，需在调用前检查熔断器状态，并在每次失败时记录，使用整体截止时间与每次尝试超时，并保证幂等性。熔断开关应支持秒级生效、按租户和能力粒度，并设计为故障时偏向安全模式。
平台基础：六边形架构与身份模型
为避免供应商锁定，应采用六边形架构，领域层只依赖自定义端口，适配器实现具体供应商。所有模型流量通过统一网关，跨领域关注点集中于此。身份模型需确保每个动作可归因、有范围限制，并强制租户匹配检查，防止跨租户访问。基础设施应精简，从无状态服务、网关、审计存储、缓存、密钥管理和对象存储开始，避免过度设计。
Q&A
LLM生产系统成熟度模型的第五级主要解决什么问题？
第五级聚焦于可运维性，即让LLM系统能够日常运行：通过统一网关观测决策、控制成本、在模型间路由和故障转移、秒级熔断，以及支撑这些能力的平台架构。
为什么LLM系统需要观测决策而不仅仅是服务指标？
传统服务指标（请求率、延迟、错误率）只能说明服务是否存活，无法反映智能体决策的质量。需要增加决策层信号，如自动执行比例、护栏拦截、成本、人工覆盖等，才能发现系统是否在悄悄批准错误的事情。
LLM系统的成本控制有哪些关键杠杆？
按收益排序：不调用模型（用规则处理简单情况）、批处理、缓存确定性结果、模型右尺寸（简单用便宜模型）、精简提示词。所有调用应通过统一网关测量和限制，并设置租户级预算和速率限制。
如何实现LLM系统的路由和故障转移？
根据决策需求路由：低风险用便宜模型，高风险用强模型，评判用不同家族的模型。故障转移时按有序链尝试，调用前检查熔断器，每次失败记录，使用整体截止时间和幂等键，全部失败则降级到人工。
LLM系统的熔断开关如何设计才能快速生效？
熔断开关是运行时状态，支持全局、租户、能力三级粒度，通过共享状态或发布订阅实现秒级传播。模式包括LIVE、HUMAN_ONLY（停止自动执行但继续提议）、HALTED。读取失败时默认HUMAN_ONLY，避免自DoS。
六边形架构如何帮助LLM系统隔离供应商？
领域层只依赖自定义的端口（如LLMGateway协议），适配器实现具体供应商。所有模型流量通过一个网关，领域不导入供应商SDK。用linter强制边界，实现一行代码切换供应商，并便于测试。
LLM系统中如何确保每个动作的身份和权限正确？
短同步流程传递用户凭证；长时流程签发短期委托授权，绑定租户和受众，最小权限。每跳验证身份租户与请求租户匹配，检查作用域精确匹配，记录跨租户拒绝为审计违规。
运营LLM系统需要哪些基础设施组件？
核心组件包括：无状态智能体服务、模型网关（唯一持有供应商凭证）、审计数据存储（决策账本）、缓存（会话状态、限流和熔断开关）、密钥管理、对象存储（大输入和分层日志）。避免过度配置队列、向量库等。
