如何阻止AI代理伪造自己的测试
内容提要
spec-verify 工具通过变异测试检查 AI 生成的测试是否有效，区分“空泛测试”和“不可验证”情况，防止虚假验证。它针对每个 Given/When/Then 块生成测试和定向变异，若测试在变异后仍通过则标记为 VACUOUS。该工具强调结构检查不等于真实性检查，并支持人工签核，确保测试真正覆盖功能，避免生产环境中的潜在缺陷。
延伸解读
空泛测试的隐蔽性
文章指出，LLM生成的测试常常看似覆盖了功能，实则只断言了琐碎条件，无论代码是否出错都会通过。这种空泛测试不仅无法捕获原始缺陷，还会在行为因其他原因破坏时继续通过，造成虚假的安全感。因此，仅生成测试并不足够，必须验证测试是否真的能检测到目标行为的破坏。
变异测试的针对性
spec-verify并非进行全面的变异测试，而是针对每个Given/When/Then块生成一个定向变异，该变异基于关联的[ASSUMPTION]标签，精确地重新引入假设所指向的风险。这种设计使得测试的验证更具针对性，能够有效区分真正验证了功能的测试与空泛测试，避免了全面变异测试的复杂性和噪音。
VACUOUS与UNVALIDATABLE的区分
文章强调，VACUOUS（空泛测试）和UNVALIDATABLE（不可验证）是两种截然不同的失败模式。空泛测试是测试本身的缺陷，必须通过编写更好的测试来修复；而不可验证则意味着该标准超出了变异测试的能力范围，通常因为行为是非确定性的。将两者混为一谈会导致要么放任空泛测试，要么对非确定性行为无限阻塞，均非正确做法。
人工签核的局限性
作者通过自身经历说明，即使人工签核并附上具体数据，也可能因单次运行结果而误导。结构检查只能过滤最懒惰的橡皮图章，无法验证人类是否真正进行了所声称的检查。对于团队环境，建议从git提交中解析签名者身份和时间戳，以增强签核的可信度，防止伪造。
Q&A
spec-verify 工具的主要功能是什么？
spec-verify 是一个 Claude Code 技能，它通过变异测试检查 AI 生成的测试是否有效，区分“空泛测试”和“不可验证”情况，防止虚假验证。它针对每个 Given/When/Then 块生成测试和定向变异，若测试在变异后仍通过则标记为 VACUOUS。
什么是空泛测试（vacuous test）？为什么它很危险？
空泛测试是指那些运行并通过，但实际上没有验证任何关键行为的测试。例如，一个测试只检查函数返回非空，而不检查具体结果。这种测试在代码出现 bug 时仍然会通过，给人一种虚假的安全感，导致缺陷未被发现而进入生产环境。
spec-verify 如何检测空泛测试？
spec-verify 对每个 Given/When/Then 块生成一个测试，并生成一个针对性的变异（mutant），该变异会重新引入原始假设所指向的风险。然后运行测试来检查它是否能在变异后失败。如果测试在变异后仍然通过，则被标记为 VACUOUS。
VACUOUS 和 UNVALIDATABLE 有什么区别？
VACUOUS 表示测试是无效的，因为它没有真正检查目标行为，修复方法是编写更好的测试。UNVALIDATABLE 表示该标准无法通过变异测试来验证，通常是因为行为是非确定性的（例如涉及 LLM 的提示），需要人工签核。两者是相反的情况，不应混淆。
对于 UNVALIDATABLE 的标准，spec-verify 如何处理？
对于 UNVALIDATABLE 的标准，spec-verify 要求进行明确的人工签核，即由人类在记录中说明他们是如何实际检查的。这可以防止虚假验证，并确保有人对验证负责。
如何安装 spec-verify？
在 macOS/Linux 上，运行：mkdir -p ~/.claude/skills/spec-verify 和 git clone https://github.com/dannwaneri/spec-verify.git ~/.claude/skills/spec-verify。在 Windows PowerShell 上，先创建目录，然后克隆仓库到 $HOME\.claude\skills\spec-verify。
spec-verify 的验证报告如何解读？
报告会列出每个标准的验证状态。首先查看所有不是 VERIFIED 的项目。VACUOUS 或 BROKEN-TEST 表示测试有问题，必须修复。UNVALIDATABLE 表示需要决定是否由人工检查并记录，或者将行为移到可测试的地方。
spec-verify 与 spec-writer 的关系是什么？
spec-writer 生成结构化的规格说明，包括 Given/When/Then 块和假设标签。spec-verify 使用这些规格来生成测试并验证它们是否有效。两者结合，确保假设被捕获并正确实现，且测试能真正防止回归。
