量子位
·
数学题干带猫AI就不会了！错误率翻300%，DeepSeek、o1都不能幸免
内容提要
研究表明，添加与猫相关的语句会显著提高大模型的数学错误率，错误率增加300%。DeepSeek和OpenAI的模型均受到影响，推理能力下降，Token消耗增加，猫的干扰分散了模型的注意力，导致频繁出错。
关键要点
-
研究表明，添加与猫相关的语句会显著提高大模型的数学错误率，错误率增加300%。
-
DeepSeek和OpenAI的模型均受到影响，推理能力下降，Token消耗增加。
-
猫的干扰分散了模型的注意力，导致频繁出错。
-
研究者对攻击方式进行了探索，包括问题筛选、正式测试和语义筛选。
-
在DeepSeek-V3上进行的攻击成功率为35%，在DeepSeek-R1上为20%。
-
不同模型的错误率增加情况不同，DeepSeek-R1和o1错误率提升最明显。
-
实验结果显示，Token消耗也大幅增加，某些情况下甚至是原来的近7倍。
-
研究由Collinear AI团队进行，创始人Nazneen Rajani曾在Hugging Face工作。
延伸解读
猫的干扰机制
研究表明，猫相关语句会显著分散大模型的注意力，导致推理能力下降。这种干扰不仅影响了模型的准确性，还增加了Token的消耗，影响了计算效率。理解这种干扰机制有助于开发更稳健的AI系统，减少外部因素对模型性能的影响。
模型间的差异
不同模型对猫干扰的敏感性存在差异。DeepSeek-R1和o1的错误率提升最为明显，而小规模模型o3-mini受到的影响较小。这提示开发者在选择模型时需考虑其对特定干扰的抵抗力，以优化应用场景中的表现。
Token消耗的影响
实验显示，受到猫干扰后，模型的Token消耗显著增加，某些情况下甚至达到原来的近7倍。这不仅增加了计算成本，也可能影响用户体验，尤其是在资源有限的环境中。开发者应关注这一点，以优化模型的使用效率。
延伸问答
为什么添加与猫相关的语句会导致数学错误率增加？
添加与猫相关的语句会分散模型的注意力，导致推理能力下降，从而增加错误率。
DeepSeek和OpenAI的模型在数学题上受到什么影响？
这两个模型的推理能力下降，错误率增加，Token消耗也显著上升。
研究中使用了哪些攻击方式来测试模型？
研究中使用了问题筛选、正式测试和语义筛选三种攻击方式。
不同模型的错误率增加情况有何不同？
DeepSeek-R1和o1的错误率提升最明显，DeepSeek R1的错误率翻3倍。
猫相关语句对Token消耗有什么影响？
猫相关语句的加入导致Token消耗大幅增加，某些情况下甚至是原来的近7倍。
Collinear AI团队的背景是什么？
Collinear AI由Hugging Face前研究负责人Nazneen Rajani创立，团队成员大多来自Hugging Face、Google等知名机构。
