扩散模型也能推理时Scaling，谢赛宁团队重磅研究可能带来文生图新范式
内容提要
研究表明，推理时扩散模型的计算量增加能显著提升生成样本质量。纽约大学团队探索通过优化噪声搜索来改进扩散模型，提出基础框架，强调验证器和算法设计。不同任务需特定搜索设置以实现最佳效果。
关键要点
-
推理时扩散模型的计算量增加能显著提升生成样本质量。
-
纽约大学团队通过优化噪声搜索改进扩散模型，提出基础框架。
-
不同任务需特定搜索设置以实现最佳效果。
-
扩散模型在生成过程中需要多次前向传递去噪，去噪步骤数量可调整。
-
研究表明，推理时 scaling 对扩散模型有效，增加计算可提高样本质量。
-
新论文提出通过搜索有效利用计算资源，而非仅增加去噪步骤。
-
验证器和算法设计是搜索框架中的两个关键设计轴。
-
验证器的选择和算法组合对生成任务的效果有显著影响。
-
自监督验证器在条件信息不可用的情况下仍能有效指导搜索。
-
零阶搜索和路径搜索算法在性能上优于随机搜索。
-
在文生图任务中，验证器与特定任务的对齐性能影响生成质量。
-
搜索与微调的目标一致，搜索方法可改善已对齐模型的性能。
-
小型模型在推理时计算 scaling 的有效性高于大型模型。
-
通过搜索可以在有限计算预算下获得更高质量的样本。
延伸解读
推理时计算的灵活性
扩散模型的生成过程允许在推理时灵活调整计算预算，尤其是去噪步骤的数量。这种灵活性使得研究者可以根据不同任务的需求，优化生成质量与计算成本之间的平衡。通过有效的搜索策略，可以在有限的计算资源下获得更高质量的样本，提升模型的实用性。
验证器的选择与任务对齐
研究表明，验证器的选择对生成任务的效果有显著影响。不同的验证器在特定任务中的表现差异，强调了在设计搜索框架时需要考虑验证器与任务的对齐程度。选择合适的验证器可以有效提升生成质量，避免因偏见导致的性能下降。
小型模型的优势
在推理时计算 scaling 的有效性上，小型模型表现出更高的效率。研究发现，在相同的计算预算下，小型模型能够超越大型模型的性能。这一发现对资源有限的应用场景尤为重要，提示研究者在选择模型时考虑其规模与性能的平衡。
延伸问答
扩散模型的推理时 scaling 是什么？
推理时 scaling 是指在推理过程中增加计算量，以显著提升扩散模型生成样本的质量。
纽约大学的研究团队在扩散模型上做了哪些探索？
他们通过优化噪声搜索，提出了一个基础框架，探索了推理时 scaling 的有效性，并强调了验证器和算法设计的重要性。
如何通过搜索优化扩散模型的生成质量？
通过搜索更好的噪声候选项，而不仅仅是增加去噪步骤，可以有效利用计算资源，从而提升生成质量。
验证器在扩散模型中的作用是什么？
验证器用于评估生成样本的质量，并提供反馈，以指导搜索更好的噪声候选项。
不同任务对扩散模型的搜索设置有什么影响？
不同任务需要特定的搜索设置，以实现最佳的生成效果，验证器与任务的对齐性能会影响生成质量。
小型模型在推理时计算 scaling 的有效性如何？
小型模型在推理时的计算 scaling 效果优于大型模型，能够在有限计算预算下获得更高质量的样本。
