本文研究了大型语言模型中词表大小对性能的影响，发现词表大小是关键因素。在固定计算预算下，存在一个最优词表大小。研究提出了三种预测方法：基于FLOPs、导数和损失函数拟合。结果表明，较大模型需要更大词表来提升性能。设计和训练时需综合考虑模型参数、训练数据和词表大小。