大模型集体失智！9.11和9.9哪个大，几乎全翻车了
内容提要
大模型GPT-4o在比较9.11和9.9时出现错误，将9.11拆分成数字和小数点，导致认为11比9大。问题暴露了大模型在基础算数方面的不足。解决方法是向AI解释这是一个双精度浮点数。OpenAI正在测试新模型，能否解决类似问题尚不确定。
延伸解读
大模型为何在简单数字比较上翻车？
大模型将数字如9.11拆分为多个token（如“9”、“小数点”和“11”），导致比较时误以为11大于9。这种基于token的处理方式使模型在基础算术上出错，即使模型在复杂数学题上表现优异，也可能在常识性问题上失误。
提问方式如何影响大模型的表现？
研究发现，提问的顺序和方式对AI的理解有显著影响。例如，将选项放在问题前面容易引发错误，而调换顺序或使用Zero-shot CoT思维链提示（如“一步一步地想”）则可能引导模型正确比较数字。角色扮演提示在此类问题中效果有限。
国产大模型在数字比较测试中的表现
在类似测试中，国产大模型表现不一：腾讯元宝和字节豆包能正确回答并解释比较方法，而Kimi、智谱清言等则出错。文心一言虽触发联网查询，但最终仍导向错误结论。这反映出不同模型在基础算术能力上的差异。
OpenAI新模型能否解决此类问题？
OpenAI正在内部测试新模型，在MATH数据集上得分超过90%，但尚不确定能否自主解决“9.11和9.9哪个大”的问题。目前最高分是谷歌Gemini 1.5 Pro数学强化版的80.6%。新模型的实际表现仍需观察。
Q&A
为什么大模型认为9.11比9.9大？
大模型在处理小数时，将9.11拆分为数字和小数点，导致错误的比较结果。
如何解决大模型在比较小数时的错误？
向AI解释这是一个双精度浮点数，可以帮助其正确理解问题。
不同大模型在处理9.11和9.9时表现如何？
大多数大模型在处理此问题时都出现了错误，显示出集体翻车的现象。
提问的方式对AI理解有何影响？
提问的顺序和方式显著影响AI的理解，明确的提问能引导AI正确比较。
国产大模型在此类测试中的表现如何？
国产大模型表现不一，有些能正确回答，有些则依然出错。
OpenAI正在测试的新模型有什么进展？
OpenAI正在测试的新模型在MATH数据集上得分超过90%，但能否解决基础算数问题尚不确定。
