如何衡量运维规范与其执行之间的一致性
内容提要
运维一致性评估中，执行成功不等于符合规范。应基于规范、证据和评估三要素，逐项检查约束，区分通过、失败与未知，处理容差、缺失证据和严重性，并区分必需与建议约束。避免用单一分数掩盖关键失败，保留证据快照与规范版本，确保结果可解释、可复现。
延伸解读
为什么执行成功不等于符合规范
文章指出，执行器报告成功（如部署完成、代理计划执行完毕）并不代表系统满足运维规范。例如，部署可能成功但副本数不足，恢复操作可能无错误但数据未恢复。因此，一致性评估必须基于规范、证据和评估三要素，逐项检查约束，而不是依赖单一的成功状态。
三态评估与缺失证据处理
文章强调，除了通过和失败，还应引入未知状态。当证据缺失时（如监控系统未提供错误率），应标记为未知而非通过或失败。这避免了将缺失遥测误判为成功，从而防止一致性评估过于乐观。未知状态在必需约束中会导致整体不一致，确保问题不被掩盖。
严重性与约束模式的区别
文章区分了严重性（INFO、WARNING、CRITICAL）和约束模式（必需、建议）。严重性描述失败的影响程度，而模式决定约束是否参与最终一致性判定。必需约束必须全部通过，建议约束可以失败但不影响整体一致性。这种区分使评估结果更细致，便于决定后续操作（如继续、回滚或升级）。
避免单一分数与保留证据
文章警告不要用单一分数（如92%一致性）掩盖关键失败，例如一个关键安全约束失败可能使90%的分数变得无意义。应保留约束级结果、严重性、必需/建议状态、未知证据和失败原因。同时，评估应基于执行窗口的证据快照，并记录规范版本，以确保结果可解释、可复现。
Q&A
运维一致性评估中，为什么执行成功不等于符合规范？
因为执行成功仅表示执行器完成了计划动作，但可能违反运维规范。例如部署成功但副本数不足，或恢复操作无错误但未恢复所需数据。一致性评估应基于规范、证据和评估三要素，逐项检查约束，而非依赖执行器的成功状态。
如何评估单个约束的符合性？
应逐项评估每个约束，返回每个约束的名称和状态（PASS/FAIL/UNKNOWN），而不是一个布尔值。例如，检查版本是否匹配、副本数是否足够、错误率和延迟是否在限值内。这样能明确哪些要求通过或失败，使结果可解释。
当证据缺失时，一致性评估应如何处理？
应将缺失证据视为UNKNOWN，而不是PASS或FAIL。例如，如果错误率指标不可用，应返回UNKNOWN，避免将缺失遥测误判为成功。这要求证据字段可选，并在评估函数中检查是否未定义。
为什么不能用一个单一的符合性分数来总结评估结果？
单一分数可能掩盖关键失败。例如，9个低风险约束通过，1个关键安全约束失败，分数显示90%符合，但操作上可能完全不可接受。应保留约束级结果、严重性、必需/建议状态、未知证据和失败原因，分数只能作为摘要，不能抹去证据。
如何确保一致性评估结果可复现？
应基于与执行窗口关联的证据进行评估，并保留规范版本、执行ID、证据快照、评估规则和时间戳。例如，部署在10:00完成，应使用10:00至10:05的遥测数据，而不是几小时后的仪表板数据。这样决策可被重建，避免后续变化改变历史结果。
在AI代理场景中，一致性评估有什么特殊重要性？
AI代理可能为同一目标选择不同计划，逐步比较执行过程无意义。但规范（目标、约束、证据要求）保持不变。每次运行后收集证据，用同一规范评估符合性，使代理可以变化执行计划，而成功定义保持在代理之外。代理不应是判断自身行动是否达成目标的唯一权威。
