本文介绍AI评估工程，强调仅靠演示和直觉开发AI系统不可靠。核心是采用评估驱动开发，通过三层架构（离线数据集评估、CI/CD门禁、生产监控）系统化评估RAG和智能体系统。重点包括构建黄金数据集、使用六项RAG指标、校准LLM评判器，并持续从生产故障中学习，以保障系统质量。

Vercel在AI开发中采用评估驱动开发，以应对AI的不确定性。传统测试不适用，因此引入评估来衡量输出质量，包括代码、人工和大语言模型评分。通过持续反馈，评估驱动开发加速AI产品改进，优化功能和用户体验，确保代码质量和一致性。