文章讨论LLM应用评估：评估用于迭代，测试用于发布把关。评分器分代码、参考答案和LLM裁判三类，能用规则就用代码。LLM裁判需明确评分标准、先推理后结论、温度设0；QAG把标准拆成是非题，G-Eval用概率加权打分，成对比较需交换顺序。裁判须用人工标签校准，以Cohen's kappa衡量。RAG应分别评估检索与生成；智能体先看任务完成，再诊断工具、参数和轨迹。发布前用25–50个版本化用例做离线评估，上线后抽样在线评估。

Meta推出Agent-as-a-Judge框架，通过智能体评估智能体，提升评估效率和准确性，减少对人工评估的依赖。实验表明，该框架的评估结果与人类专家高度一致。Meta还发布了涵盖55个AI开发任务的DevAI数据集，提供更全面的评估标准。