大模型智障检测+1：Strawberry有几个r纷纷数不清
内容提要
最近新模型智障检测出现问题，无法正确数出单词“Strawberry”中的“r”。全球网友尝试各种提示词技巧教会大模型数“r”，成功方法包括使用漫画《死亡笔记中》角色“L”的方法和DeepMind的Self-Discover论文中的方法。有人还尝试使用AI想象一个从0开始的内存计数器来计算文档中“strawberry”出现的次数。ChatGPT和谷歌Gemini也有一定概率能答对。国内选手在测试中表现稳定。大模型公司希望在下个版本中解决这个问题。
延伸解读
为什么大模型数不清“r”？
大模型处理文本时，会先将文字拆分成token。以“strawberry”为例，它可能被拆成“st-”“raw”“-berry”等部分，单个字符“r”在token中并不独立存在。因此，模型难以直接数出字母个数，这并非数学能力不足，而是token化机制导致的局限。
网友的“教学”方法有效吗？
为了教会大模型数“r”，网友尝试了多种提示词技巧，如让AI模仿《死亡笔记》中角色“L”的推理方式，或复现DeepMind的Self-Discover论文方法。这些方法有时能成功，但过程复杂，且并非通用解决方案。有网友指出，花大力气解决“数r问题”并不实用，更多是测试提示词技巧。
哪些模型能直接答对？
测试显示，ChatGPT有小概率直接答对，谷歌Gemini约有三分之二概率答对。国内模型如字节豆包、智谱清言、腾讯元宝、文心一言4.0等，在统一提问方式下表现稳定，能正确回答。但同系列的不同版本（如文心一言免费版）可能出错，说明模型能力存在差异。
更简单的解决思路：调用代码
面对数“r”问题，最直接的方法是让AI调用代码。例如，智谱清言自动触发代码模式，用Python的count函数快速得出答案。OpenAI的卡帕西也认为，AI需要知道自身能力边界，主动调用工具。Meta在Llama 3.1论文中已涉及让模型判断自己是否知道答案的方法。
Q&A
为什么大模型在数单词'Strawberry'中的'r'时出现错误？
大模型在处理字符时的token化方式不同，导致数'r'的问题。
网友们使用了哪些方法来教会大模型数'r'？
网友们尝试了多种提示词技巧，包括使用漫画《死亡笔记》中角色'L'的方法和DeepMind的Self-Discover论文中的方法。
哪些AI模型在数'r'时表现较好？
Llama-3.1 405B能发现并改正错误，而国内选手在测试中表现稳定。
如何使用内存计数器来计算单词出现次数？
可以让AI想象一个从0开始的内存计数器，每次遇到该单词就往上加。
ChatGPT和谷歌Gemini在数'r'时的表现如何？
ChatGPT有小概率能直接答对，而谷歌Gemini大约有三分之二的概率能答对。
大模型公司对数'r'问题有什么计划？
大模型公司希望在下个版本中解决数'r'的问题。
