谷歌揭秘大模型不会数r原因：嵌入维度是关键，不止分词器问题
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
谷歌揭秘大模型计数能力不足的原因是嵌入维度不够大，词向量无法保持正交性。词汇量的增加是导致大模型计数能力下降的主要原因。作者认为这项研究划定了大模型计数能力的上下界，但仍有改进空间。
🔎
延伸解读
嵌入维度与词汇量的关键关系
文章指出，Transformer的计数能力依赖于嵌入维度d和词汇量m。当d大于m时，词向量可以保持正交，计数可通过向量加法实现；反之，正交性被破坏，计数能力下降。这解释了为什么大模型在简单计数任务上表现不佳，而不仅仅是分词器的问题。
实验验证：词汇量是主要因素
通过两个实验，作者验证了词汇量增加是导致计数能力下降的主要原因。第一个实验显示，当词汇量超过嵌入维度时，计数准确率显著下降；第二个实验在Gemini 1.5上表明，随着词汇量增加，计数误差上升，而固定词汇量的对照组误差较低。
研究局限与未来方向
作者承认，研究划定的计数能力上下界还不够紧致，且未探究增加Transformer层数是否会影响结论。未来需要开发新的技术工具来进一步验证和改进。这表明大模型计数能力的提升仍有空间。
❓
Q&A
为什么大模型的计数能力不足？
大模型的计数能力不足是因为嵌入维度不够大，无法保持词向量的正交性。
嵌入维度与词汇量之间有什么关系？
嵌入维度必须大于词汇量，以保持正交性，从而确保计数能力。
实验结果如何验证词汇量对计数能力的影响？
实验显示，随着词汇量的增加，模型的计数准确率显著下降，尤其当词汇量超过嵌入维度时。
Gemini 1.5模型在计数任务上的表现如何？
Gemini 1.5模型在计数任务上的误差随着词汇量的增加而显著上升。
如何通过注意力机制实现计数？
通过注意力机制，模型赋予被查询词较大权重，并利用位置编码提取出现频率的倒数。
未来的研究方向是什么？
未来需要进一步验证大模型计数能力的上下界，并探究增加Transformer层数的影响。
🏷️
