HART：高效的混合自回归变换器视觉生成模型

BriefGPT - AI 论文速递 · 2024-10-14T00:00:00Z

论文介绍了一种新方法DARL，使用仅有解码器的Transformer预测图像块。通过均方差训练获得强大表示，并用去噪补丁解码器替代损失。研究表明，特定噪声时间表和更大模型的长时间训练可改善表示。DARL架构简单，但微调后性能接近先进模型，结合了自回归和去噪扩散模型的优势。