大型语言模型打破了SRE运行手册。接下来该怎么办？
💡
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
可靠性工程师在现代软件中至关重要。随着AI时代的到来，输出变得不确定，传统工具和方法面临挑战。SREs需适应新的监控和评估方式，关注业务指标而非单一信号。尽管许多团队感到滞后，实际上大家都在探索中，MLOps仍有许多未解问题。
🎯
关键要点
- 可靠性工程师在现代软件中扮演着重要角色，尤其是在AI时代。
- AI输出的不确定性使得传统的监控和评估工具面临挑战。
- SREs需要关注业务指标而非单一信号，以适应新的监控方式。
- 机器学习工作负载的结果不再是确定的，数据的统计特性可能会变化。
- LLMs的出现使得模型的训练重心转向推理，SREs需要快速适应。
- 监控必须演变，业务结果成为唯一可靠的“正确”标准。
- 许多公司在非AI工作负载上都缺乏高质量的可观察性。
- 尽管有理论上的完美监控方案，但在实践中难以实现。
- 当前没有公司完全掌握如何在大规模下操作非确定性系统。
- MLOps面临更多未解的问题，达到生产级可靠性仍需时间。
❓
延伸问答
在AI时代，可靠性工程师面临哪些挑战？
可靠性工程师面临的挑战包括AI输出的不确定性、数据统计特性的变化以及传统监控工具的失效。
如何评估AI生成内容的质量？
评估AI生成内容的质量应关注业务指标，如点击率（CTR）等，而非单一信号。
SREs如何适应机器学习工作负载的变化？
SREs需要快速适应新的监控方式，关注业务结果，并定义结果级别的SLI和SLO。
MLOps目前面临哪些未解问题？
MLOps面临的问题包括缺乏高质量的可观察性、监控和可观察性挑战，以及如何在大规模下操作非确定性系统。
为什么传统的监控工具在AI时代不再有效？
传统监控工具在AI时代不再有效，因为AI输出是非确定性的，无法通过传统的状态码等指标进行有效评估。
如何实现AI系统的可靠性？
实现AI系统的可靠性需要结合业务结果与经典指标，建立有效的监控和评估机制。
➡️
