高效生成高分辨率图像的 Token 下采样策略
内容提要
该文汇总多项视觉生成研究，涵盖Token Pooling加速视觉变换器、重用注意力映射降低文本到图像扩散延迟、蒸馏SDXL得到高效模型KOALA、利用扩散模型多模态知识进行分割、空间-时间交叉注意力提升文本保真度、缩放因子适配多尺寸图像、新损失函数改善布局对齐、Focus-DETR优化计算与精度、离散扩散并行预测提升一致性，以及免训练方法实现超高分辨率生成。
延伸解读
Token下采样的效率与精度平衡
文章指出，Token Pooling作为一种新型令牌下采样方法，旨在提高视觉变换器的计算速度，并通过研究softmax注意力机制，在计算速度与精度之间实现更好的平衡。这提示我们，在视觉生成任务中，对令牌进行下采样是优化计算效率的有效途径，但需注意注意力机制的特性，以避免精度损失。
免训练加速与模型蒸馏的实用价值
文章提到，通过结构化重用注意力映射，无需训练即可降低文本到图像扩散模型的迭代延迟，同时保持样本质量。此外，蒸馏SDXL得到的KOALA模型在减小尺寸的同时保持生成质量，速度提升两倍以上。这些方法为资源有限的环境提供了成本效益高的替代方案，但可能牺牲部分生成多样性或细节。
文本到图像生成的保真度与布局控制
文章汇总了多项提升文本保真度和布局对齐的研究，如引入空间-时间交叉注意力控制、缩放因子适配多尺寸图像、以及新的损失函数重新聚焦注意力图。这些方法旨在解决多对象、属性和空间组合下的文本遵循问题，并改善低分辨率目标不完整和高分辨率重复表示的问题。
超高分辨率生成与模型复用可能性
文章提到一种免训练方法，通过重新扩张限制性卷积感知域、引入分散卷积和抑噪无监督引导，实现超高分辨率图像生成，并解决物体重复和不合理结构问题。该方法还提示低分辨率训练模型可直接用于高分辨率生成，为未来研究提供了新思路，但可能对复杂场景的适应性有限。
Q&A
Token Pooling 是什么？它有什么作用？
Token Pooling 是一种新型的令牌下采样方法，旨在提高视觉变换器的计算速度，并通过研究 softmax 注意力机制，实现更好的计算速度与精度之间的平衡。
如何降低文本到图像扩散模型的延迟？
通过结构化地重用注意力映射，一种训练无关的方法可以在保持样本质量的同时，显著降低文本到图像扩散模型迭代过程中的延迟。
KOALA 模型是什么？它有什么优势？
KOALA 是一种高效的文本到图像综合的潜在扩散模型，通过蒸馏 SDXL 模型的知识，设计有效的 U-Net 和自注意力的知识蒸馏策略，在减小模型尺寸的同时保持生成质量，速度比 SDXL 快两倍以上，适合资源有限的环境。
扩散模型如何用于分割任务？
研究揭示了一种利用扩散模型中隐藏的丰富多模态知识进行分割任务的新方法。
如何提高文本到图像生成的文本保真度？
通过在扩散模型中加入显式的空间-时间交叉注意力控制，利用布局预测器和空间注意力控制相结合，优化组合权重，从而生成与文本更高保真的图像。
如何处理不同尺寸和长宽比的图像生成？
通过引入一个缩放因子，适应各种尺寸和长宽比的图像，在保持视觉保真度的同时，改善低分辨率图像上目标不完整和高分辨率图像上重复表示的问题。
如何改善文本到图像生成中的布局对齐？
提出两个新的损失函数，在采样过程中根据给定的布局重新聚焦注意力图，解决多对象、属性和空间组合情况下无法精确遵循文本提示的问题，提高生成图像与文本提示的对齐度。
Focus-DETR 是什么？它解决了什么问题？
Focus-DETR 是一种改进的 DETR-like 模型，通过使用双重注意力的编码器关注更具信息量的令牌，并通过得分增强细粒度对象查询的语义交互，从而在计算效率和模型准确性之间取得更好的权衡。
离散扩散模型如何提升图像生成的全局一致性和多样性？
通过使用无约束的 Transformer 架构作为骨干结构，实现向量量化标记的并行预测，从而促进图像生成的全局一致性和多样性。
如何无需训练实现超高分辨率图像生成？
通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法，无需任何训练或优化，即可实现超高分辨率图像生成，并解决物体重复和不合理结构的问题。
