The JetBrains Blog
·
与代理像穴居人一样交流真的能节省65%的令牌吗？我们进行了测试
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
测试“穴居人”技能在AI代理中的效果，实际节省约为8.5%，远低于宣传的65%。该技能能在不影响输出质量的情况下减少输出令牌数量，建议用户使用，但不应期待显著的节省。
🎯
关键要点
-
测试结果显示，使用“穴居人”技能的实际节省为8.5%，远低于宣传的65%。
-
该技能在不影响输出质量的情况下减少输出令牌数量，主要压缩的是工具调用之间的叙述部分。
-
在82个配对任务中，使用该技能的输出质量与未使用时没有显著差异，p值为0.82。
-
尽管技能在理论上可以节省约10%的成本，但实际运行中由于单次试验的波动，成本节省并不稳定。
-
建议用户使用该技能，因为它不会影响输出质量，但不应期待在日常任务中有显著的节省。
🔎
延伸解读
实际节省与宣传差距
测试结果显示，使用“穴居人”技能的实际节省仅为8.5%，远低于宣传的65%。这表明，虽然该技能在理论上可以减少输出令牌，但在实际应用中，节省效果并不显著，用户应对此保持理性预期。
输出质量保持稳定
在82个配对任务中，使用“穴居人”技能的输出质量与未使用时没有显著差异，p值为0.82。这意味着该技能在压缩输出令牌的同时，未对任务结果造成负面影响，用户可以放心使用。
成本节省的脆弱性
尽管理论上使用“穴居人”技能可以节省约10%的成本，但实际运行中，由于单次试验的波动，成本节省并不稳定。用户在使用时需注意，某些任务可能导致成本反而增加。
❓
延伸问答
使用‘穴居人’技能的实际节省是多少？
实际节省约为8.5%，远低于宣传的65%。
‘穴居人’技能会影响输出质量吗？
不会，使用该技能的输出质量与未使用时没有显著差异。
为什么宣传的65%节省不准确？
因为实际输出主要是代码和工具调用，‘穴居人’技能只压缩叙述部分，节省有限。
在什么情况下使用‘穴居人’技能是有益的？
建议用户使用该技能，因为它不会影响输出质量，但不应期待显著的节省。
使用‘穴居人’技能的成本节省是否稳定？
成本节省并不稳定，单次试验的波动可能导致结果不同。
测试中使用了多少个配对任务？
测试中使用了82个配对任务。
🏷️
