为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
内容提要
大模型在处理一些简单的问题上表现不佳，如无法正确数出单词中的某个字母。这是因为大模型在Tokenization（分词）时将单词分为多个token，导致难以准确计数。此外，大模型缺乏认知自我知识，即对自身知识和能力的认知，导致在某些领域表现出色，而在其他领域犯错。解决方案可能包括扩大规模和采用更复杂的方法。
延伸解读
分词机制如何影响模型计数
大模型在分词时会将单词拆分为多个token，例如Strawberry被分为Str、aw、berry三个token。这种拆分导致模型难以直接统计字母数量，因为模型看到的是token序列而非字母序列。因此，当被问及单词中有几个r时，模型无法像人类一样逐字母计数，而是基于token进行预测，从而容易出错。
认知自我知识：模型知道自己不知道什么吗？
Karpathy指出，大模型缺乏认知自我知识，即对自身知识和能力的认知。如果模型具备这种能力，它可能会在遇到不擅长的问题时主动表示需要借助代码解释器等工具。目前模型往往过度自信，不假思索地给出答案，导致在简单问题上翻车。这种自我认知的缺失是参差不齐智能现象的核心原因之一。
后训练策略：让模型只回答知道的问题
Llama 3论文4.3.6章节提出，后训练应使模型知道它知道什么，而不是单纯增加知识。Meta的研究者通过知识探测技术生成数据，鼓励模型只回答它知道的问题，并拒绝回答不确定的问题。这种方法旨在提升模型回答的可靠性，减少幻觉。Karpathy推荐阅读该章节，认为这是解决参差不齐智能问题的一种参考方案。
生产环境中的应对：人机协作
Karpathy强调，参差不齐的智能问题在生产环境中尤其值得注意。我们应该让模型只完成它们擅长的任务，而不擅长的任务由人类及时接手。这种分工可以避免模型在薄弱环节出错，同时发挥其优势。目前，模型在奥数等复杂任务上表现出色，却在数数、比大小等简单任务上失误，因此合理分配任务至关重要。
Q&A
为什么大模型在数单词字母时会出错？
大模型在Tokenization时将单词分为多个token，导致无法准确计数。
什么是Jagged Intelligence？
Jagged Intelligence是Karpathy提出的概念，指模型在某些领域表现出色而在其他领域表现不佳的现象。
如何解决大模型的认知自我知识缺乏问题？
解决方案可能包括扩大模型规模和在后训练阶段采用更复杂的方法。
Karpathy推荐的改进方法是什么？
Karpathy推荐阅读Llama 3论文，提出让模型只回答它知道的问题的方法。
大模型在生产环境中应如何应用？
模型应只完成擅长的任务，不擅长的任务由人类接手。
Tokenization在大模型中的作用是什么？
Tokenization将文本分解为多个token，影响模型对字母计数等简单任务的处理。
