多模态语义感知自动着色与扩散先验
内容提要
本文介绍了一种基于T2I模型的彩色转换方法，利用预训练模型的颜色知识和扩散引导器为灰度图像生成色调。该模型在感知质量上表现优异，适用于颜色增强和历史图像上色。通过微调生成扩散模型，实现高质量图像重建和丰富的颜色选择，超越了以往研究的视觉质量和颜色保真度。
延伸解读
技术路线：从预训练模型到扩散引导
文章提出的方法基于T2I模型的颜色先验知识，结合扩散引导器为灰度图像生成符合视觉语义的潜在色调，再通过灵敏度感知的VQVAE模型实现像素级对齐的彩色结果。这一路线不同于传统上色方法，它利用预训练模型的知识，避免了从头训练，同时扩散引导增强了语义一致性。
性能表现：感知质量达到先进水平
在大量实验中，该模型在感知质量上取得了最先进的性能，超越了以往研究在视觉质量和颜色保真度方面的表现。这意味着生成的彩色图像不仅颜色丰富，而且更符合人类视觉感知，适用于颜色增强和历史图像上色等场景。
发展脉络：上色技术的演进与对比
文章回顾了上色技术的发展，从2017年使用像素级对象语义引导，到2018年引入GAN先验，2021年利用GAN编码器检索特征，2022年BigColor学习生成色彩先验，再到2023年基于扩散模型的方法。本文方法处于这一脉络中，利用T2I模型和扩散引导，代表了当前的技术趋势。
Q&A
什么是基于T2I模型的彩色转换方法？
基于T2I模型的彩色转换方法利用预训练模型的颜色知识和扩散引导器，为灰度图像生成符合视觉语义的色调。
该模型在感知质量上有什么表现？
该模型在感知质量上表现优异，取得了最先进的性能，适用于颜色增强和历史图像上色。
如何实现高质量图像重建？
通过微调生成扩散模型，该方法实现了高质量图像重建和丰富的颜色选择。
该方法适用于哪些应用场景？
该方法适用于颜色增强和历史图像的上色，能够提高用户对上色过程的控制水平。
与以往研究相比，该模型有什么优势？
该模型在视觉质量、颜色保真度和颜色化选项的多样性方面超越了以往的研究。
ColorDiffuser是什么？
ColorDiffuser是一种预训练的文本到图像潜在扩散模型的视频上色适应方法，能够提高色彩保真度和视觉质量。
