编码智能体可以评估。我们只需评估其工作成果。
内容提要
编码智能体虽难评估，但并非不可评估。应将其视为整体系统，通过可执行测试、多次运行、交互模拟等分层方法，衡量结果、质量、轨迹、成本及生产影响，而非依赖单一指标或演示。评估旨在提供可复现证据，辅助决策，而非追求完美。
延伸解读
评估对象是系统，而非模型
编码智能体并非单一模型，而是由模型、工具、环境、指令等组成的整体系统。改变任一组件都可能显著影响结果。因此，公开基准的分数不应被简单解读为模型能力，而是特定系统在特定预算下的表现。评估时应明确这一边界，避免将系统性能误归因于模型本身。
分层评估，避免单一指标
有效的评估应覆盖结果、变更质量、轨迹、人工干预、成本和生产影响等多个层面。单一指标（如测试通过率）可能被钻空子，例如弱化断言或硬编码结果。采用类似工程团队的记分卡方式，综合多维度信息，才能更全面地反映智能体的实际表现。
多次运行，报告分布而非单次结果
由于智能体运行具有非确定性，单次成功或失败不能代表其真实能力。应多次运行同一任务，报告成功率、成本方差和失败模式频率等分布信息。这有助于区分偶然成功与稳定能力，为决策提供更可靠的依据。
交互评估，应对意图模糊
对于需求不明确的任务，评估应包含与模拟用户或产品负责人的交互。重点考察智能体能否识别歧义、提出有效问题并整合反馈，而非直接假设需求。这能衡量其处理真实工程中模糊性的能力，避免因错误假设而产出无效结果。
Q&A
为什么说编码智能体是可以评估的？
尽管编码智能体具有非确定性、长周期和多种有效解决方案，但评估它们并非不可能。关键在于将其视为一个整体系统，通过可执行测试和行为结果来评估，而不是依赖单一指标或演示。
评估编码智能体时，应该关注哪些维度？
评估应分层进行，包括结果（最终仓库是否满足任务）、变更质量（实现是否可接受）、轨迹（智能体如何达成）、人工干预（需要多少帮助）、成本（经济性）和生产影响（合并后的效果）。
为什么不能仅通过测试是否通过来评估编码智能体？
因为智能体可能通过削弱现有断言、硬编码期望值、大规模重写或消耗不合理预算等方式让测试通过，但这些变更可能不被工程师接受。因此需要结合变更质量、轨迹、成本等多维度评估。
如何处理编码智能体的非确定性问题？
应多次运行同一任务，并报告成功率分布，而不是依赖单次演示。同时要测量固定预算下的通过率、成本和完成时间的方差，以及严重失败模式的频率，并包含置信区间。
对于意图不明确的任务，如何评估编码智能体？
应包含与模拟用户或产品负责人的交互，评估智能体识别歧义、提出有用问题、整合答案以及避免臆造需求的能力。然后根据隐藏的行为契约评估最终系统。
评估编码智能体的最终目的是什么？
评估的目的是提供可复现的证据以辅助决策，而不是追求完美。只要评估能比演示、轶事或供应商声明更好地帮助决策，就达到了目的。
