大模型集体失智！9.11和9.9哪个大，几乎全翻车了
内容提要
大模型集体失智，9.11和9.9的大小比较出错。大模型无法理解算数问题，需要向AI解释明白是双精度浮点数。检验提示词技巧的试金石。OpenAI秘密模型“草莓”更新，新模型在MATH数据集上得分超过90%。
延伸解读
大模型为何在简单比较上翻车？
大模型将数字如9.11拆分为token“9”、“.”和“11”，导致模型可能将“11”与“9”比较，而非整体数值。这种tokenizer机制使得模型在缺乏明确上下文时，容易误判小数大小。文章指出，向AI说明这是双精度浮点数，或调整提问顺序，可帮助模型正确理解。
提问方式如何影响模型表现？
文章发现，将选项放在问题前面时，许多大模型会错误认为9.11更大；调换顺序则可能避免错误。Zero-shot CoT思维链提示有效，而角色扮演提示作用有限。这表明提示词设计能显著影响模型注意力，成为检验提示技巧的试金石。
国产大模型表现与启示
在中文提问下，国产大模型翻车率较高，但腾讯元宝和字节豆包能正确比较并解释方法。文心一言虽触发联网查询，却中途转向错误结论。这反映模型对数字语义的理解仍不稳定，实际应用中需谨慎对待简单算术问题。
OpenAI新模型与数学能力
路透社报道OpenAI秘密模型“草莓”在MATH数据集得分超90%，但能否自主解决“9.11和9.9哪个大”仍存疑。文章提醒，数学奥赛能力与常识性算术理解可能脱节，新模型的实际表现有待验证。
Q&A
为什么大模型在比较9.11和9.9时会出错？
大模型在处理数字比较时，受到tokenizer的影响，导致错误的理解和比较结果。
如何提高大模型在算数问题上的准确性？
需要向AI明确解释上下文，特别是涉及双精度浮点数时，以帮助其正确理解问题。
Riley Goodside在测试大模型时发现了什么？
他发现大模型在比较简单数字时普遍出错，尝试不同提问方式仍未能解决问题。
国产大模型在类似测试中的表现如何？
国产大模型的表现也不佳，大多数模型在比较9.11和9.9时出现错误，少数模型能正确回答。
OpenAI的新模型“草莓”有什么进展？
OpenAI的秘密模型“草莓”在MATH数据集上得分超过90%，但能否解决简单算数问题仍存疑。
提问方式对大模型的理解有何影响？
研究表明，提问方式显著影响大模型的理解，使用Zero-shot CoT思维链可以提高正确率。
