量子位
·
谷歌揭秘大模型不会数r原因：嵌入维度是关键，不止分词器问题
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
谷歌揭秘大模型计数能力不足的原因是嵌入维度不够大，词向量无法保持正交性。词汇量的增加是导致大模型计数能力下降的主要原因。作者认为这项研究划定了大模型计数能力的上下界，但仍有改进空间。
🎯
关键要点
- 谷歌研究发现大模型计数能力不足的原因是嵌入维度不够大，而非简单的tokenizer问题。
- Transformer的计数能力与嵌入维度和词汇量密切相关，嵌入维度必须大于词汇量以保持正交性。
- 当嵌入维度不足时，词向量无法保持正交性，导致计数能力下降。
- 作者通过两个实验验证了词汇量的增加是导致大模型计数能力下降的主要原因。
- 第一个实验显示，模型的计数准确率在词汇量超过嵌入维度时显著下降。
- 第二个实验表明，Gemini 1.5模型在计数任务上的误差随着词汇量的增加而显著上升。
- 尽管研究划定了大模型计数能力的上下界，但仍有改进空间，未来需要进一步验证。
❓
延伸问答
为什么大模型的计数能力不足？
大模型的计数能力不足是因为嵌入维度不够大，无法保持词向量的正交性。
嵌入维度与词汇量之间有什么关系？
嵌入维度必须大于词汇量，以保持正交性，从而确保计数能力。
实验结果如何验证词汇量对计数能力的影响？
实验显示，随着词汇量的增加，模型的计数准确率显著下降，尤其当词汇量超过嵌入维度时。
Gemini 1.5模型在计数任务上的表现如何？
Gemini 1.5模型在计数任务上的误差随着词汇量的增加而显著上升。
如何通过注意力机制实现计数？
通过注意力机制，模型赋予被查询词较大权重，并利用位置编码提取出现频率的倒数。
未来的研究方向是什么？
未来需要进一步验证大模型计数能力的上下界，并探究增加Transformer层数的影响。
➡️
