扩展分类流映射
内容提要
本文研究了将分类流映射（CFM）方法扩展到大规模语言建模。作者训练了17亿参数的流模型，通过自蒸馏实现仅需4步推理即可生成高质量文本，并保持接近数据级的熵。他们还提出了半离散设置下的似然界，用于标准语言模型基准评分，结果与离散扩散方法相当。文章还探讨了大规模训练中的挑战，并提供了损失加权和时间调度的实用建议。
延伸解读
扩展性验证与自蒸馏
本文首次将分类流映射（CFM）扩展到17亿参数规模，在2.1万亿token上训练，并通过自蒸馏实现仅4步推理即可生成高质量文本。这一结果验证了CFM方法在大规模语言建模中的可行性，表明其采样效率优势在更大规模下依然成立。
似然界与基准评估
作者提出了半离散设置下的似然界，使得CFM能够像传统语言模型一样在标准基准上进行评分。实验结果显示，其性能与离散扩散方法相当，这为流匹配模型在语言任务中的评估提供了新工具，也弥补了此前缺乏有效评估手段的空白。
大规模训练的实用建议
文章揭示了大规模训练CFM时面临的挑战，并给出了关于损失加权和时间调度的具体建议。这些经验性指导对于研究者复现和进一步扩展该方法具有直接参考价值，有助于避免常见陷阱，提高训练稳定性。
Q&A
什么是分类流映射（CFM）？
分类流映射（CFM）是一种生成模型方法，它通过连续流匹配过程在高斯分布和独热编码数据分布之间进行映射，从而生成离散数据（如文本）。它允许加速采样，并在少量步骤内生成高质量样本。
这项研究将CFM扩展到多大规模的模型？
该研究训练了一个17亿参数的流模型，并在2.1万亿个token上进行训练，然后通过自蒸馏得到CFM模型。
CFM模型在推理时需要多少步才能生成高质量文本？
通过自蒸馏，CFM模型仅需4步推理即可生成高质量文本，同时保持接近数据级的token熵。
CFM模型在标准语言模型基准上的表现如何？
作者提出了半离散设置下的似然界，用于标准语言模型基准评分，结果与离散扩散方法相当。
大规模训练CFM模型时面临哪些挑战？
文章揭示了一些大规模训练中的挑战，并提供了关于损失加权和时间调度的实用建议。
CFM方法相比自回归方法有哪些潜在优势？
CFM方法作为连续扩散和流匹配模型，可能成为自回归方法的强大替代方案，因为它解锁了加速采样和倾斜等优势，这些优势目前仅限于连续模态。
