Token（词元）是AI模型计算和计费的基本单位，不同模型的切分方式各异。我国日均词元调用量已超过140万亿次，未来有望实现“充词元”，迈入全民AI时代。

本研究聚焦于变换器语言模型中当前词元嵌入到下一个词元预测的激活向量转变过程，识别出基于双元预测的子网络，这些子网络在模型性能中至关重要，尽管只占模型参数的0.2%以下。研究发现这些双元子网络主要集中在模型的首层，并与优化剪枝的子网络显著重叠，揭示了其在基本下一个词元预测中的必要性和充分性。

蚂蚁联合实验室提出的K-ON方法通过多词元并行预测，提升了大模型对知识图谱的感知能力。在知识图谱补全任务中，该方法表现优于现有技术，训练和推理效率更高。实验结果显示，K-ON在多个数据集上均取得显著优势。

LLM是一种通过大量数据训练的模型，数据来源包括书籍、文章和网站。它可以执行文本生成、翻译、摘要和问答等任务。训练时，文本被转换为数值形式，模型通过调整参数提高性能。用户输入被分解为词元，模型使用注意力机制生成响应。

使用两个简单的分类器和从其他 LLM 评估器获得的四个数值特征，本文引入了一种监督学习方法，取得了有希望的结果，并在三个不同基准测试中超越了当前最先进的成果。