Meta FAIR与华盛顿大学提出字节级蒸馏新方法，将教师模型的Token概率分布转换为字节级目标，让学生模型直接学习字节分布。实验以Llama 3-8B为教师，提出Marginalize-It和End-Of-Token两种方案。End-Of-Token蒸馏下游准确率上限达52.4%，比传统Token蒸馏高4个百分点，且存储更省，但训练计算量更高。