Sketch2Manga：用扩散模型从素描生成有暗影的漫画画笔稿
内容提要
本文提出多种基于深度学习的漫画处理技术，包括自动漫画滤镜生成、漫画着色方法和漫画检索系统。这些方法有效降低创作成本，提高图像质量和检索精度，同时保留原始风格。
延伸解读
技术脉络：从滤镜到扩散模型的演进
文章梳理了漫画处理技术的多个方向，包括自动漫画滤镜生成、漫画着色、漫画检索和基于草图的图像合成。这些技术从早期基于条件生成对抗网络（cGAN）的方法，发展到近期基于扩散模型（如SketchFFusion）的方法，体现了深度学习在漫画创作辅助中的持续演进。
降低创作成本与提升效率
自动漫画滤镜生成方法通过可解释的屏幕色调表示法，对漫画中的网点和线条进行分类和超分辨率增强，旨在降低人力成本。半自动上色系统Comicolorization和基于cGAN的着色方法也致力于减少人工上色工作量，同时保持原始风格。
检索与交互：基于内容的漫画搜索
基于内容的漫画检索系统利用二值化检测和边缘方向直方图特征描述，提高了检索准确度，并支持基于素描的交互查询。在包含109本漫画、21,142页的数据集上验证，检索精度高于先前方法，有望提升漫画搜索效率。
风格保留与质量增强
多项技术注重在自动化处理中保留漫画的原始风格。例如，cGAN着色方法通过分割和色彩校正缓解模糊和伪像，多编码器VAE框架结合参考图像和手动提示，确保日本漫画彩色化的明晰和多彩结果。这些努力旨在平衡自动化与艺术性。
Q&A
什么是自动漫画滤镜生成方法？
自动漫画滤镜生成方法基于可解释的屏幕色调表示法，旨在降低漫画创作中的人力成本。
漫画着色方法是如何工作的？
漫画着色方法基于条件生成对抗网络(cGAN)，只需一张着色参考图像进行训练，解决模糊和伪像问题，保留原始色彩风格。
如何提高漫画检索的准确度？
通过二值化检测和边缘方向直方图特征描述等方式，提高漫画检索的准确度。
SketchFFusion模型的主要功能是什么？
SketchFFusion模型用于基于用户提供的草图信息进行局部细节微调的图像编辑，生成性能优于现有方法。
半自动漫画上色系统的工作原理是什么？
半自动漫画上色系统通过参考彩色图像引导，实现漫画的全彩上色。
基于GAN框架的新方法有什么优势？
基于GAN框架的新方法能够从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像，显著提升合成性能。
