本文介绍了标记补偿器（ToCom）的方法，解决了标记压缩在训练和推理阶段压缩程度不匹配导致的性能下降问题。ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距。在推理过程中，ToCom可以直接插入到下游现成模型中，提高模型性能。实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度，并提高标记压缩性能。