本文讨论了SWE-bench Pro基准测试的评估问题，发现约30%的任务存在缺陷，主要包括测试过于严格、提示不明确和覆盖率低。通过人类审核和代理审查，确认了这些问题的普遍性，强调了建立高质量基准的重要性，以确保模型能力的准确评估。