轨迹即教师：基于能量导航蒸馏的少步离散流匹配
内容提要
提出TS-DFM方法，用轻量能量指南在训练中评估并选择最优中间轨迹，替代离散流匹配的盲目随机跳跃，且不增加推理成本。在1.7亿参数模型上，8步学生困惑度比1024步教师低32%，速度快128倍，优于更大模型或更多数据的基线。
延伸解读
轨迹质量：被忽视的瓶颈
文章指出，离散流匹配蒸馏中学生表现不佳常被归因于容量不足，但作者认为瓶颈在于教师轨迹本身。训练轨迹由一系列盲目的随机跳跃构成，未评估序列质量，早期中间点的错误决策会传播并迫使学生模仿。TS-DFM通过轻量能量指南在训练中评估并选择最优中间轨迹，从而提升学生性能。
训练时引导，推理零开销
TS-DFM的核心设计是仅在训练阶段使用能量指南来塑造轨迹，推理时完全移除该组件，因此不增加任何推理成本。这意味着学生模型在部署时保持原有的少步生成效率，同时受益于训练中更优的轨迹监督。
少步学生超越多步教师
在1.7亿参数语言建模任务上，8步学生模型的困惑度比1024步教师低32%，速度快128倍。这一结果挑战了“学生必须模仿教师全部步骤”的传统认知，表明通过优化训练轨迹，少步模型可以超越多步教师，且优势在不同源分布和三个递增规模的评估器上保持一致。
与更大模型和更多数据的对比
TS-DFM在困惑度上优于所有对比的离散生成基线，包括使用6倍数据训练或5倍参数规模的模型。这表明轨迹质量可能比单纯增加模型容量或数据量更关键，为离散流匹配的少步生成提供了新的优化方向。
Q&A
TS-DFM 是什么？它主要解决什么问题？
TS-DFM 是 Trajectory-Shaped Discrete Flow Matching 的缩写，是一种用于少步离散流匹配的蒸馏方法。它主要解决离散流匹配生成文本时需要数百次前向传播、效率低下的问题，通过用轻量级能量指南在训练中评估并选择最优中间轨迹，替代盲目的随机跳跃，从而在不增加推理成本的情况下提升学生模型性能。
TS-DFM 如何改进离散流匹配的蒸馏过程？
TS-DFM 用引导式导航替代盲目的随机跳跃：在训练轨迹的每个中点，一个轻量级能量指南会评估候选的后续序列，并选择最连贯的一个。所有 shaping 仅在训练时进行，推理成本不变。
TS-DFM 在 1.7 亿参数语言模型上的实验结果如何？
在 1.7 亿参数语言模型上，经过 TS-DFM 训练的学生模型在 8 步时困惑度比 1024 步教师模型低 32%，同时速度快 128 倍。该增益在不同源分布和三个规模递增的评估器上保持一致。
TS-DFM 与基线方法相比表现如何？
TS-DFM 在所有对比的离散生成基线中取得了最佳困惑度，包括那些使用 6 倍数据训练或使用 5 倍大模型的方法。
TS-DFM 会增加推理成本吗？
不会。TS-DFM 的所有轨迹 shaping 仅在训练阶段进行，推理时的计算成本与标准方法相同，没有额外开销。
为什么说轨迹是瓶颈而不是学生模型容量不足？
因为每个训练轨迹是通过一系列盲目的随机跳跃构建的，没有对序列质量进行评估；早期中点的一个坏决策会传播到后续步骤，而学生必须模仿这个有缺陷的结果。因此，瓶颈在于轨迹质量，而非学生模型容量。
