扩散模型中的精细颜色引导及其在极低比特率图像压缩中的应用
内容提要
本文介绍了一种新型图像上色框架，利用图像扩散技术和细粒度文本提示，实现高质量的彩色输出。该框架通过预训练的生成扩散模型进行微调，适用于历史图像上色和颜色增强，具有出色的视觉质量和颜色保真度。同时，研究探讨了图像合成模型的控制能力，提出了新的语义扩散引导框架，提升了用户对上色过程的控制水平。
延伸解读
技术路径：从颜色先验到像素对齐
文章提出的上色框架分两步：先利用预训练T2I模型的颜色先验，结合扩散引导器生成符合灰度图语义的潜在色调；再通过灵敏度感知的VQVAE模型，使彩色结果与灰度输出像素完美对齐。这种设计兼顾语义合理性与空间一致性，避免了直接生成可能带来的颜色溢出或错位。
控制能力：细粒度文本提示与语义引导
该研究强调用户对上色过程的控制，通过细粒度文本提示和语义扩散引导框架，允许用户指定颜色或语义区域。与早期无条件扩散模型相比，这种引导方式无需额外训练即可注入语言或图像指导，提升了交互性，但控制精度仍受提示表述和模型先验的影响。
应用场景与性能表现
框架适用于历史图像上色和颜色增强，在感知质量上达到最先进水平，能生成丰富多样的颜色。实验表明，其颜色保真度和视觉质量优于先前研究。此外，条件扩散模型作为解码器在生成式压缩中展现出潜力，可在解码端创建新的失真与感知权衡点。
局限与待探索方向
文章未详细讨论计算成本、推理速度及对极端灰度输入的鲁棒性。虽然像素对齐和语义引导提升了质量，但依赖预训练模型可能引入颜色偏差。未来可探索更轻量的引导机制，并系统评估在低比特率压缩场景下的率失真性能。
Q&A
新型图像上色框架的主要技术是什么？
该框架利用图像扩散技术和细粒度文本提示，实现高质量的彩色输出。
这个框架适用于哪些类型的图像处理？
适用于历史图像上色和颜色增强。
该研究如何提升用户对上色过程的控制水平？
研究提出了新的语义扩散引导框架，增强了用户对上色过程的控制能力。
模型在感知质量上表现如何？
模型在感知质量上取得了最先进的性能，具有高质量的图像重建和丰富多样的颜色。
条件扩散模型在生成式压缩任务中有什么表现？
条件扩散模型在生成式压缩任务中展示了良好的结果，允许在解码器端创建新的失真和感知之间的权衡点。
该框架如何实现颜色保真度的优化？
通过使用 CIEDE2000 优化颜色保真度，提升了图像的颜色表现。
