驯服扩散Transformer中的异常标记
内容提要
本文研究扩散Transformer（DiT）中的异常标记问题，发现其在编码器和去噪器中均存在，且简单掩蔽无效。提出双阶段寄存器（DSR）干预方法，通过训练或测试时寄存器及扩散寄存器，在ImageNet和文本到图像生成中减少异常伪影，提升生成质量，强调控制异常标记对构建更强DiT的重要性。
延伸解读
异常标记的根源：不只是极端值
文章指出，简单掩蔽高范数标记并不能改善生成质量，说明异常标记问题并非仅由少数极端值引起，而是与局部补丁语义被破坏有关。这意味着，仅靠后处理或裁剪极端值难以根治，需要从模型内部机制入手，理解异常标记如何影响注意力分配和特征表达。
双阶段干预：训练与测试时策略
DSR方法提出在编码器和去噪器中分别引入寄存器：训练时可用则用训练寄存器，否则用递归测试时寄存器；去噪器则使用扩散寄存器。这种灵活设计使得干预能适应不同训练条件，在ImageNet和文本到图像生成中均有效，表明该方法具有较好的通用性。
对构建更强DiT的启示
研究强调，控制异常标记是构建更强扩散Transformer的重要环节。异常标记在编码器和去噪器中均存在，且影响生成质量。未来设计DiT架构时，需考虑如何抑制异常标记的产生，或通过寄存器等方式进行干预，以提升生成质量和稳定性。
Q&A
扩散Transformer中的异常标记是什么？
异常标记是指扩散Transformer（DiT）在图像生成过程中产生的一小部分高范数标记，它们会吸引不成比例的注意力，但携带的局部信息有限，可能导致生成图像中出现伪影。
异常标记在扩散Transformer中出现在哪些位置？
异常标记出现在现代RAE-DiT管线的编码器和去噪器中：预训练的ViT编码器可能产生异常表示，DiT本身在中间层尤其容易发展出内部异常标记。
为什么简单掩蔽高范数标记不能解决异常标记问题？
因为异常标记问题不仅仅是由少数极端值引起的，而是与局部补丁语义的损坏更相关，所以简单掩蔽高范数标记并不能提升性能。
双阶段寄存器（DSR）方法是如何工作的？
DSR是一种基于寄存器的干预方法，包括两个阶段：对于编码器，使用训练好的寄存器（如果可用）或递归测试时寄存器；对于去噪器，使用扩散寄存器。这些寄存器用于减少异常伪影并提升生成质量。
DSR方法在哪些任务上进行了验证？
DSR方法在ImageNet和大型文本到图像生成任务上进行了验证，结果表明它能够持续减少异常伪影并提升生成质量。
控制异常标记对构建更强的扩散Transformer有什么意义？
控制异常标记是构建更强扩散Transformer的重要成分，因为异常标记会导致生成图像中出现伪影，影响生成质量，而通过DSR等方法控制它们可以提升模型性能。
