量子位
·
谷歌揭秘大模型不会数r原因：嵌入维度是关键，不止分词器问题
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
谷歌揭秘大模型计数能力不足的原因是嵌入维度不够大，词向量无法保持正交性。词汇量的增加是导致大模型计数能力下降的主要原因。作者认为这项研究划定了大模型计数能力的上下界，但仍有改进空间。
🎯
关键要点
- 谷歌研究发现大模型计数能力不足的原因是嵌入维度不够大，而非简单的tokenizer问题。
- Transformer的计数能力与嵌入维度和词汇量密切相关，嵌入维度必须大于词汇量以保持正交性。
- 当嵌入维度不足时，词向量无法保持正交性，导致计数能力下降。
- 作者通过两个实验验证了词汇量的增加是导致大模型计数能力下降的主要原因。
- 第一个实验显示，模型的计数准确率在词汇量超过嵌入维度时显著下降。
- 第二个实验表明，Gemini 1.5模型在计数任务上的误差随着词汇量的增加而显著上升。
- 尽管研究划定了大模型计数能力的上下界，但仍有改进空间，未来需要进一步验证。
➡️
