CVPR 2026 | PixelDiT：用于图像生成的像素扩散变换器
内容提要
PixelDiT提出单阶段端到端像素空间扩散Transformer，无需VAE，采用补丁级和像素级双层架构，结合像素级AdaLN与Token压缩，高效建模全局语义和局部纹理。在ImageNet 256×256达1.61 FID，文生图GenEval 0.74，逼近潜空间模型，并避免VAE重建伪影，利于细节保留。
延伸解读
像素级建模的关键挑战
论文指出，像素空间扩散的核心挑战在于像素级Token建模。粗粒度Patch虽节省计算，但削弱细节；细粒度Patch虽保留细节，但全局注意力计算量随序列长度平方增长。PixelDiT通过双层级架构和Token压缩，在保留细节的同时将序列长度缩减256倍，实现了高效训练。
像素级AdaLN的作用
传统AdaLN将同一调制参数广播给Patch内所有像素，无法捕捉像素间细微变化。PixelDiT提出像素级AdaLN，为每个像素独立生成缩放、平移和门控参数，使每个像素的更新受全局语义指导，同时保留局部特征。消融实验显示，加入该组件后FID从3.50降至2.36，验证了其有效性。
像素空间模型的优势与局限
PixelDiT在图像编辑任务中避免了VAE重建伪影，能完好保留背景文字等细节，展示了像素空间模型在细节敏感任务上的潜力。然而，其计算成本仍高于潜空间方法，尽管差距已显著缩小。未来需进一步优化效率，以拓展实际应用。
Q&A
PixelDiT是什么？它解决了什么问题？
PixelDiT是一种单阶段、端到端的像素空间扩散Transformer，用于图像生成。它消除了对预训练自编码器（如VAE）的需求，直接在像素空间中学习扩散过程，从而避免了VAE的有损重建瓶颈和优化目标不一致的问题。
PixelDiT的双层级架构是如何设计的？
PixelDiT采用双层级架构：补丁级路径（Patch-level Pathway）负责捕获全局语义，使用p×p的非重叠补丁（p=16）进行标准DiT块的长距离自注意力建模；像素级路径（Pixel-level Pathway）由像素Transformer（PiT）块组成，负责细化局部纹理，对每个像素进行密集建模。
PixelDiT提出了哪两项关键技术？它们分别有什么作用？
PixelDiT提出了像素级自适应层归一化（Pixel-wise AdaLN）和像素Token压缩机制。像素级AdaLN为每个像素独立生成缩放、平移和门控参数，实现与全局上下文对齐的逐像素更新；像素Token压缩机制通过压缩-注意力-扩展流水线，将每个补丁内的像素Token压缩为一个紧凑Token，进行全局注意力后再解压缩，从而将序列长度缩减256倍，同时通过残差连接保留高频细节。
PixelDiT在ImageNet 256×256上的性能如何？
PixelDiT-XL在ImageNet 256×256上达到了1.61 FID，大幅超越了现有的像素级模型（如PixelFlow-XL的1.98、PixNerd-XL的1.93、EPG的2.04），并且仅训练80个epoch（2.36 FID）就已超越经典的像素扩散模型ADM-U（4.59 FID），性能接近顶尖潜空间模型。
PixelDiT在文生图任务上的表现如何？
PixelDiT-T2I在GenEval上达到了0.74，在DPG-bench上达到了83.5，远超其他像素级模型（如PixNerd、PixelFlow），并接近FLUX、DALL-E 3等顶级潜空间模型。在1024×1024分辨率下，其生成速度（0.33 samples/s）与潜空间模型相当。
PixelDiT在图像编辑任务中有什么优势？
PixelDiT直接在像素空间操作，避免了VAE的重建伪影，因此在细节敏感任务（如编辑背景中的场景文字）中能完好保留文字细节，而潜空间模型（如SD3、FLUX）由于VAE压缩失真，编辑后文字会严重变形。
PixelDiT的核心组件消融实验证明了什么？
消融实验从基准的Vanilla DiT/16（9.84 FID）开始，加入双层级架构和Token压缩后FID降至3.50，再加入像素级AdaLN后FID大幅提升至2.36（80 epoch）和1.61（320 epoch），证明了每个组件（双层级架构、Token压缩、像素级AdaLN）对性能提升的重要性。
