归一化轨迹模型
内容提要
归一化轨迹模型（NTM）将扩散模型每步反向过程建模为条件归一化流，实现精确似然训练。它结合浅层可逆块与深层并行预测器，可从头训练或基于预训练流匹配模型初始化。其精确轨迹似然支持自蒸馏，轻量去噪器四步即可生成高质量图像，在文生图基准上媲美或超越强基线，并保留精确似然。
延伸解读
少步生成与似然保持的平衡
扩散模型通常需要多步去噪，少步方法往往通过蒸馏或对抗训练牺牲似然框架。NTM将每步反向过程建模为条件归一化流，保留精确似然训练，同时支持少步生成。这为需要概率评估的应用提供了新可能，但需注意其四步生成仍依赖自蒸馏得到的轻量去噪器，实际部署时需权衡计算与似然精度。
架构设计：浅层可逆与深层并行的结合
NTM在每步内使用浅层可逆块，跨轨迹使用深层并行预测器，形成端到端网络。这种设计既保证了每步变换的可逆性与似然计算，又通过并行预测捕捉轨迹全局依赖。模型可从零训练或基于预训练流匹配模型初始化，后者可能加速收敛，但初始化效果取决于预训练模型与目标任务的匹配程度。
自蒸馏机制与四步生成效果
利用精确轨迹似然，NTM可进行自蒸馏：用模型自身诱导的得分函数训练轻量去噪器，从而在四步内生成高质量图像。在文生图基准上，其表现媲美或超越强基线，同时独特地保留生成轨迹的精确似然。不过，自蒸馏效果受教师模型质量影响，且四步生成可能不适用于所有复杂场景。
Q&A
归一化轨迹模型（NTM）是什么？
归一化轨迹模型（NTM）是一种将扩散模型每步反向过程建模为条件归一化流的生成模型，能够实现精确似然训练。
NTM如何实现精确似然训练？
NTM将扩散模型的每个反向步骤建模为表达性条件归一化流，从而能够计算整个生成轨迹的精确似然。
NTM的网络架构有什么特点？
NTM结合了每个步骤内的浅层可逆块和跨轨迹的深层并行预测器，形成端到端网络，可以从头训练或基于预训练流匹配模型初始化。
NTM如何实现少步高质量图像生成？
NTM利用精确轨迹似然进行自蒸馏，训练一个轻量去噪器，该去噪器基于模型自身诱导的得分函数，仅需四步即可生成高质量图像。
NTM在文生图任务上的表现如何？
在文生图基准上，NTM仅用四步采样就能匹配或超越强基线，同时独特地保留了生成轨迹的精确似然。
NTM与现有少步方法相比有什么优势？
现有少步方法通过蒸馏、一致性训练或对抗目标来压缩生成步骤，但牺牲了似然框架；NTM在实现少步生成的同时保留了精确似然。
