如何构建自评估AI系统：面向LLM应用的自动化测试与评估流水线
内容提要
LLM应用输出不确定、无唯一答案且失败隐蔽，传统测试方法失效。文章提出三层评估体系：确定性检查（格式、长度、幻觉链接）、LLM评审（按评分标准打分）、人工评估（定期校准），并介绍黄金数据集、回归测试和统计显著性检验，建议从简单检查起步，逐步构建完整评估流水线。
延伸解读
为什么传统测试方法对LLM应用失效
传统软件测试依赖确定性断言，但LLM输出具有非确定性、无唯一正确答案且失败隐蔽三大特点。即使设置temperature=0，模型提供商的幕后更新也可能导致行为变化。更棘手的是，模型会自信地返回错误答案，而监控仪表盘却显示100%正常运行。因此，评估LLM应用需要从通过/失败转向评分机制，并持续运行以捕捉质量漂移。
三层评估体系的分工与成本权衡
文章提出三层评估：确定性检查（快速免费，捕捉格式、长度、幻觉链接等基础问题）、LLM评审（用带评分标准的模型打分，评估相关性、准确性、完整性）、人工评估（定期校准，捕捉语气、清晰度等自动化盲点）。三层从廉价快速到昂贵彻底，建议从确定性检查起步，逐步叠加，避免一次性构建所有层。
LLM评审的可靠性保障：共识与校准
单一LLM评审调用存在噪声，同一响应可能一次得4分、一次得3分。为提高稳定性，可采用多评审共识（运行三次取中位数），成本增加但适合CI/CD门控决策。此外，需维护校准集（20-30条已有人工评分的响应），定期运行评审模型，若与人工评分平均偏差超过0.5分，则需检查模型更新或评分标准是否覆盖新失败模式。
回归测试与统计显著性：避免误判改进
提示词微调可能修复一个问题却破坏其他响应，因此需要回归测试：用黄金数据集（50-100条，包含边缘案例）运行评估，比较分数变化。但平均分从3.8提升到4.0可能只是噪声，需用配对t检验判断改进是否显著（p值<0.05）。若p值高于阈值，即使平均分提高也不应部署，因为改进可能随机波动。
Q&A
为什么传统的软件测试方法不适用于LLM应用？
传统测试依赖确定性断言，但LLM输出不确定、无唯一正确答案，且失败隐蔽（无报错、无崩溃），因此需要基于评分的评估方法。
LLM评估的三层体系分别是什么？各自有什么作用？
三层评估体系包括：1）确定性检查（快速、免费，检查格式、长度、幻觉链接等）；2）LLM评审（用另一个LLM按评分标准打分，评估相关性、准确性、完整性）；3）人工评估（定期校准，捕捉语气、清晰度等自动化难以覆盖的问题）。
如何设计有效的LLM评审评分标准？
评分标准需要具体、可观察的锚点描述，例如1-5分每个等级都描述可指出的特征，避免模糊的“好坏”判断，以确保评审一致性。
什么是黄金数据集？如何构建？
黄金数据集是精心策划的测试问题集合，代表应用需处理的实际场景。建议从50-100个例子开始，包含边缘案例，并随着生产中的失败不断添加新案例，使其成为应用脆弱点的详细地图。
如何判断AI改进是否具有统计显著性？
使用配对t检验比较同一组问题在改动前后的得分，若p值小于0.05，则改进显著，可以部署；否则可能只是随机噪声，不应部署。
构建评估流水线时有哪些常见误区或建议？
建议：不要一次性构建所有层，从确定性检查开始；每月用人工评分校准LLM评审；将每次生产失败转化为测试案例；不要追求完美评分，评分是工具而非目标。
