现代语言模型在标记预测中存在缺陷，庞大的softmax层导致架构臃肿且易出错。引入三元编码（tribits）可以提升模型的表达能力和容错性，克服传统token化的局限，增强模型的鲁棒性和可解释性，标志着后softmax时代的到来。