行为测试框架值得付出成本吗？
内容提要
对比GPT-6 Sol与Luna构建同一API服务：Sol无论有无行为测试框架均10次全过；Luna无框架仅3次成功，有框架则10次全过，且每次成本比无框架Sol低33%。框架通过契约与测试提供可执行反馈，弥补小模型遗漏需求的问题。结论：能力较弱的模型宜全程使用框架，前沿模型可仅在最终验收时使用。
延伸解读
行为测试框架的成本效益因模型能力而异
实验显示，行为测试框架对前沿模型GPT-6 Sol没有带来可观测的通过率提升，反而增加了约10.5倍的token消耗、近3倍的时间和约7倍的成本。但对于成本优化模型GPT-6 Luna，框架将成功率从3/10提升到10/10，且每次运行成本比无框架的Sol低33%。这表明框架的价值取决于模型能力：能力较弱的模型能从持续反馈中显著受益，而前沿模型可能只需在最终验收时使用。
框架通过可执行反馈弥补小模型的需求遗漏
无框架的Luna运行中，失败集中在协议边界、弹性路径和集成接缝处，例如超时创建未返回202、Kafka消息头不符合契约等。这些需求在简报中已明确，但实现时被遗漏。框架通过契约和确定性测试提供可执行反馈，充当外部记忆和注意力辅助，在传感器变红时提醒代理修正，从而将遗漏的需求重新拉回焦点。
实验局限：样本小且未隔离引导与传感器
该实验仅基于10次配对运行、一个全新Java服务和详细简报，无法确定长期可靠性或总成本。成本估算仅包含自主生成和机器时间，未计入编写、审查和维护契约、示例及框架的前期投入，也未衡量修复失败结果的努力。此外，框架同时增加了引导和传感器，无法区分各自贡献。因此，结论应视为特定条件下的起点，而非普适规律。
实践启示：根据模型能力调整传感器运行时机
对于无框架下结果不稳定的模型，在开发过程中持续运行传感器可提供可执行注意力，扩大团队可成功使用的模型范围。对于能一次通过的前沿模型，将传感器作为独立的最终验收门禁，可在不增加开发开销的情况下提供必要验证。团队选型时还需考虑单位经济性、延迟预算和数据隐私等因素，行为测试框架可能让更便宜、更轻量的模型可靠交付。
Q&A
行为测试框架是什么？它如何帮助编码智能体？
行为测试框架结合了指南和传感器。指南在智能体行动前引导它，增加首次尝试正确的机会；传感器在行动后观察结果并提供反馈，帮助自我纠正。它通过契约和测试提供可执行反馈，弥补小模型遗漏需求的问题。
在实验中，GPT-6 Sol 和 GPT-6 Luna 使用行为测试框架后的表现有何不同？
GPT-6 Sol 无论有无框架，10次运行全部通过。GPT-6 Luna 无框架时仅3次成功，有框架时10次全部通过。
使用行为测试框架会增加多少成本？对于 Luna 模型，带框架的成本与无框架的 Sol 相比如何？
对于 Luna，带框架平均每次尝试增加约17,072,912个token、19分4秒运行时间和约0.187美元的API等效成本。但带框架的 Luna 每次尝试成本约0.273美元，比无框架的 Sol（0.406美元）低约33%。
实验中如何确保行为测试框架的指南和传感器不矛盾？
通过“examples validate”命令在测试前检查示例负载是否符合API规范，测试使用这些规范和示例来检查实现，保持传感器与源指南一致。契约检查从提供的规范中确定性生成，示例定义值断言，智能体被指示保留这些输入并修正实现而非削弱期望。
无框架的 GPT-6 Luna 失败主要出现在哪些方面？
失败集中在协议边界、弹性路径和集成接缝处。例如，延迟创建工作流中，超时后应返回202 Accepted并带监控链接，但4次返回503、2次返回400、1次返回429；Kafka消息契约违反，如添加意外的__TypeId__头或categories为null；以及环境变量名不匹配等。
根据实验结论，对于不同能力的模型，行为测试框架应该何时使用？
对于能力较弱的模型（如 Luna），宜全程使用框架，以提供可执行注意力，提高可靠性。对于前沿模型（如 Sol），可仅在最终验收时使用框架作为独立检查，避免开发过程中的额外开销。
