DeepSeek V4.1-Flash-1017 对比 Claude Haiku 5.5:以极低价格实现更高准确率

DeepSeek V4.1-Flash-1017 对比 Claude Haiku 5.5:以极低价格实现更高准确率

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

DeepSeek发布V4.1-Flash-1017,主打缩短任务耗时与输出长度,开放权重可自托管。作者将其与Claude Haiku 5.5对比修Bug、数据库查询、工单分类三项测试:DeepSeek在修Bug和分类上略胜,查询打平;Haiku工具类任务更快,DeepSeek长提示更快。成本上DeepSeek约0.07美元,Haiku约0.30美元,差距主要来自长提示触发高价档。作者倾向DeepSeek,但提醒仅单次测试,需按自身负载验证。

🔎

延伸解读

成本差距的关键:长提示与缓存设置

本次测试中DeepSeek总成本约0.07美元,Haiku约0.30美元,差距主要来自工单分类的长提示。相同文本在DeepSeek计为153,082个token,在Haiku计为216,811个token,导致Haiku触发更高价位档。此外,DeepSeek自动缓存了重复输入,而作者未开启Haiku需手动启用的提示缓存。因此成本对比受缓存设置和分词方式影响,实际费用可能因配置不同而变化。

速度表现因任务类型而异

在修Bug和数据库查询这两项工具类任务中,Haiku完成更快:修Bug用8轮、21.6秒,DeepSeek用12轮、49.6秒;数据库查询Haiku调用次数和耗时也更少。但在长提示的工单分类任务上,DeepSeek反而更快,且三项合计略快于Haiku。这说明速度优势并非全局,选择模型时应结合自身任务中工具调用与长文本处理的占比来判断。

准确率差异集中在规则细节

三项测试中,DeepSeek在修Bug(6/6对5/6)和工单分类(1600字段全对,Haiku错4个)上略胜,数据库查询双方20/20打平。Haiku的失误集中在规则细节:将49名用户和0.8%错误率的报告误判为sev3而非sev4,以及将8月1日后提交但正文提及7月日期的报告路由到旧团队。这提示对规则敏感的分类任务,需重点验证模型对日期、阈值等条件的遵循程度。

单次测试的局限与验证建议

作者仅对每个模型每项测试运行一次,且使用默认设置、固定服务器和离峰时段,因此结果不能证明普遍的准确率或速度优势,也无法反映规模化表现。厂商报告的Terminal-Bench分数(DeepSeek 42.3,Haiku 39.2)也非受控对比。在投入生产前,建议读者用自己的真实负载和配置(包括缓存开关)进行多次测试,再决定模型选型。

❓

Q&A

DeepSeek V4.1-Flash-1017 和 Claude Haiku 5.5 在价格上有什么区别?

DeepSeek 的离峰价格为每百万未缓存输入 token 0.15 美元、缓存输入 token 0.003 美元、输出 token 0.60 美元,高峰价格翻倍。Haiku 对 10 万 token 以内的提示收费为每百万输入 0.10 美元、输出 0.50 美元,超过后输入 0.50 美元、输出 2.50 美元。短提示下 Haiku 更便宜,长提示下 DeepSeek 更便宜。实际测试中 DeepSeek 总成本约 0.07 美元,Haiku 约 0.30 美元,差距主要来自长提示触发 Haiku 的高价档。

在修 Bug 测试中,DeepSeek V4.1-Flash-1017 和 Claude Haiku 5.5 的表现如何?

DeepSeek 得分 6/6,Haiku 得分 5/6。两者都找到了第一个 bug(尽管错误指向了错误的文件),修复了第三个 bug,没有破坏回归测试,并标记了错误的测试而未改动它。Haiku 在第二个 bug 上漏掉了一个隐藏测试,而 DeepSeek 没有。Haiku 用了 8 轮、21.6 秒完成,DeepSeek 用了 12 轮、49.6 秒,但由于自动缓存了大部分重复输入,DeepSeek 成本更低。

在数据库查询测试中,两个模型的表现有何异同?

两者准确率打平,都是 20/20。它们都避开了所有陷阱,并对两个无法回答的问题回答了“unknown”而非编造。Haiku 用更少的调用和更少的时间得到答案,而 DeepSeek 的成本约为 Haiku 的一半。

在工单分类测试中,Claude Haiku 5.5 出现了哪些错误?

DeepSeek 全部 1600 个字段正确,Haiku 错了 4 个。其中两个是严重性评级错误:一个影响 49 名用户的报告被 Haiku 评为 sev3(应为 sev4),另一个错误率 0.8% 的报告也被评为 sev3(应为 sev4)。另外两个是路由错误:指南要求根据报告头部日期路由,8 月 1 日后提交的报告应转给新团队,但 Haiku 将两份 8 月 1 日后提交的报告发给了旧团队,尽管报告正文提到了更早的 7 月日期。

DeepSeek V4.1-Flash-1017 和 Claude Haiku 5.5 在速度上谁更快?

Haiku 在基于工具的两项测试(修 Bug 和数据库查询)中更快,而 DeepSeek 在大型工单分类提示上更快,并且综合三次测试总时间略快。但作者仅各运行一次,因此这些结果不能代表普遍的速度优势。

作者对 DeepSeek V4.1-Flash-1017 和 Claude Haiku 5.5 的最终选择是什么?有什么注意事项?

作者倾向于选择 DeepSeek V4.1-Flash-1017,因为它在评分键上获得满分且成本更低(0.07 美元 vs 0.30 美元)。但作者提醒,每个模型只运行了一次,结果不能确立普遍的准确率或速度优势,也不能反映大规模下的表现,建议在生产选择前用自己的工作负载测试两者。

🏷️

标签

➡️

继续阅读