本文探讨了如何将AI系统从实验转变为可靠的生产产品，重点在于工程设计，包括输入验证、输出一致性、监控和成本控制。通过结构化输出、观察性管道和电路断路器等策略，可以有效应对AI系统的失败模式，确保系统在高负载下的稳定性。

在实际工程中，即使温度设为0且随机种子固定，LLM的输出仍无法完全一致，原因包括采样配置、浮点误差和调度策略等。因此，追求严格的确定性不现实，需通过参数控制和架构设计实现业务可接受的稳定性。

大型语言模型虽然强大，但输出不稳定。使用Pydantic库可以定义数据结构，确保AI应用的输出一致性，减少错误。通过验证模型响应，可以提高AI工作流的可靠性和安全性。