超越Logits：语言建模中的三元民主崛起
The Problem with Token Prediction Today Modern language models operate on a fundamental illusion: that token classification via a massive softmax layer is inherently optimal. In practice, this...
现代语言模型在标记预测中存在缺陷，庞大的softmax层导致架构臃肿且易出错。引入三元编码（tribits）可以提升模型的表达能力和容错性，克服传统token化的局限，增强模型的鲁棒性和可解释性，标志着后softmax时代的到来。
