原文中文,约6900字,阅读约需17分钟。
📝
内容提要
本文基于 Dex Horthy(HumanLayer 创始人)软件工厂为什么会失败系列第三篇《Benchmarking the new frontier》整理而成。文章介绍了 SlopCodeBench 这一新基准如何通过“检查点”机制模拟真实开发中需求逐步演进的过程,弥补了传统基准“一次性摊开问题”的缺陷。Dex 亲自用该基准的一个子集实测了 Opus 5、Sonnet 5、Opus...