.jpg)
守护前沿：JetBrains如何评估与部署Claude Fable 5
内容提要
JetBrains CTO Vladislav Tankov谈及Claude Fable 5评估：该模型在私有代码库测试中准确率与效率均优于前代，Python通过率44.3%，步骤减少22%。它擅长复杂推理和长时agentic编码，用于重写应用及安全测试。公司注重部署安全网，接受数据保留以换取前沿智能，未来聚焦开发“驾驶舱”协作平台。
延伸解读
评估方法：私有代码库与成本效率
JetBrains的评估不仅依赖公开基准，还使用私有代码库（包括其monorepo）进行测试，以检验模型在真实任务上的表现。他们维护质量、成本效率和速度的排行榜。尽管Claude Fable 5的每token成本更高，但在复杂、长期任务中，其每任务成本可能更低，这提示企业在选型时应关注综合成本而非单一价格。
性能提升：准确率与效率的双重优势
在JetBrains的测试中，Claude Fable 5的Python通过率从Opus 4.8的28.2%提升至44.3%，且所需步骤减少22%。更关键的是，其代码运行后通过测试的比例更高，减少了“代码能跑但结果错误”的隐性成本。此外，Claude Fable 5在Java任务中避免了无效的外部资源调用，显示出更高效的工程习惯。
安全部署：安全网与数据保留的权衡
JetBrains不自行调整模型安全性，而是依赖Anthropic的red teaming，并专注于构建部署安全网。他们接受数据保留以换取前沿智能，但希望审查仅针对最严重案例。这种权衡反映了企业在使用前沿模型时，需要在数据隐私与模型能力之间做出务实选择。
Q&A
JetBrains 如何评估新模型（如 Claude Fable 5）？
JetBrains 使用大型评估集，包括私有代码库和 monorepo，来测试模型在真实任务上的表现，而不仅仅依赖公开基准分数。他们维护质量、成本和速度的排行榜，并关注模型在私有代码上的实际通过率和效率。
Claude Fable 5 在 JetBrains 的测试中表现如何？
Claude Fable 5 在 Python 通过率上达到 44.3%，比 Opus 4.8 的 28.2% 高出 16 个百分点。它比 Opus 4.8 少用约 22% 的步骤，并且在 Java 任务中不会像 Opus 4.8 那样尝试拉取外部资源，表现出更好的工程习惯。
JetBrains 在什么情况下会选择使用 Claude Fable 5 而不是其他模型？
JetBrains 在需要复杂推理、几乎需要合作伙伴时使用 Claude Fable 5，例如实现复杂组件或进行长期 agentic 编码实验。Opus 被视为可靠的工作马，而 Claude Fable 5 更适合需要深度推理的任务。
JetBrains 如何利用 Claude Fable 5 进行安全测试？
JetBrains 使用 Claude Fable 5 进行白盒测试，以发现自身产品的漏洞。同时，他们也在为外部人员使用类似模型攻击其产品做准备，以确保企业客户的安全。
JetBrains 对数据保留和模型安全持什么态度？
JetBrains 更倾向于零数据保留，但理解为了调查严重问题需要保留数据。他们认为这是获取前沿智能的公平交易。在安全方面，他们依赖 Anthropic 的模型安全措施，并专注于构建部署安全网。
JetBrains 未来的 AI 路线图是什么？
JetBrains 计划构建一个软件开发“驾驶舱”，让代理和人类协作，管理开发过程。他们希望开发下一代产品，覆盖 agentic 软件开发生命周期，使开发者能交付更多更好的代码，并让非技术角色在软件创建中发挥更大作用。
