9.11和9.9谁大？我们实测15个大模型，超半数翻车
内容提要
大模型在简单数学题上表现不佳，无法正确回答9.11和9.9哪个更大的问题。GPT-4o、Claude-3.5-Sonnet和Gemini等模型回答错误，而百度文心一言、阿里通义千问和科大讯飞星火等模型回答正确。专家认为，大模型在处理比大小等简单数学题时依赖于预测模型的成功率，分词器的算法和机制可能导致回答错误。大模型在第二轮提问时往往能给出正确答案，提高大模型数学能力的关键在于提供高质量的数据支持。
延伸解读
分词器机制：数字比较出错的根源
文章指出，大模型基于Transformer架构，本质是next token prediction，而非直接进行算术计算。在处理“9.11和9.9”时，分词器可能将数字辨认为日期或版本号，导致比较错误。例如，Gemini将9.11联想为9·11事件，9.9联想为9点9分。这种机制决定了模型在简单数学题上可能翻车，而非模型能力全面不足。
第二轮提问为何能纠正错误
实测发现，许多大模型首次回答错误，但第二轮提问时能给出正确答案。专家解释，这源于预测过程的随机性、上下文理解能力以及提问者的引导方式。模型能根据之前的回答和订正信息重新生成答案，使用限定词或清晰语境也能提高正确率。这说明大模型的错误并非不可逆，交互方式对结果有显著影响。
国内外模型表现差异与数据质量
在15款大模型中，GPT-4o、Claude-3.5-Sonnet和Gemini等国外模型回答错误，而百度文心一言、阿里通义千问和科大讯飞星火等国内模型回答正确。专家表示，提高数学能力的关键在于高质量数据支持，特别是数学计算和逻辑推理方面。通义千问针对此类场景加入高质量数据训练，从而保持较高准确率。
Q&A
为什么大模型在简单数学题上表现不佳？
大模型在处理简单数学题时依赖于预测模型的成功率，分词器的算法和机制可能导致回答错误。
哪些大模型能够正确回答9.11和9.9哪个大？
百度文心一言、阿里通义千问和科大讯飞星火等模型能够正确回答。
大模型在第二轮提问时为什么能给出正确答案？
大模型在第二轮提问时通常能提供正确答案，主要是因为预测过程的随机性和上下文理解能力。
如何提高大模型的数学能力？
提高大模型数学能力的关键在于提供高质量的数据支持，特别是在数学计算和逻辑推理方面。
在测试中，哪些大模型回答错误？
GPT-4o、Claude-3.5-Sonnet和Gemini等模型在测试中回答错误。
大模型的分词器是如何影响回答的？
分词器在解析数字时可能将其辨认为日期或版本号，导致错误的比较结果。
