路边的阿不
·
在本地跑一个AI模型(7) - 你打草稿，模型来画
内容提要
本文介绍了两种控制图像生成过程的技术：基于神经网络的ControlNet和基于提示嵌入的Adapter。文章还讨论了CannyDetector和HEDdetector等不同的Detector模型，用于生成引导图。最后，文章展示了使用ControlNet和Adapter生成的图像对比。
关键要点
-
本文介绍了两种控制图像生成过程的技术：ControlNet和Adapter。
-
ControlNet基于神经网络，通过学习图像和文本描述之间的关系来引导图像生成。
-
Adapter基于提示嵌入，将文本提示转换为向量表示，并与图像嵌入结合以引导图像生成。
-
ControlNet的优点是效果好、可控性强，但使用复杂，需要训练数据；Adapter易于使用、灵活，但效果可能不佳。
-
使用Detector模型生成引导图，常见的有CannyDetector、HEDdetector、LineartDetector等。
-
CannyDetector用于提取图像边缘信息，HEDdetector适用于更复杂的边缘，LineartDetector用于线条艺术。
-
MidasDetector估计物体深度，NormalBaeDetector估计表面法线，OpenposeDetector检测人体关键点。
-
使用ControlNet和Adapter生成图像时，需要下载相应的模型并编写代码进行测试。
-
文章展示了使用不同Detector和ControlNet、Adapter生成的图像对比。
延伸问答
ControlNet和Adapter有什么区别？
ControlNet基于神经网络，效果好且可控性强，但使用复杂；Adapter基于提示嵌入，易于使用但效果可能不佳。
如何使用CannyDetector生成引导图？
需要下载CannyDetector模型，并使用相应的代码加载图像进行边缘检测，提取边缘信息。
什么是引导图，它的作用是什么？
引导图是通过分析图像提取特定信息，帮助控制图像生成过程，使生成的图像更符合预期。
使用ControlNet生成图像需要哪些步骤？
首先下载ControlNet模型，然后编写代码加载图像和生成引导图，最后调用生成函数生成图像。
HEDdetector与CannyDetector有什么不同？
HEDdetector能够检测更复杂的边缘，而CannyDetector主要用于提取简单的边缘信息。
Adapter的优缺点是什么？
Adapter的优点是易于使用和灵活，缺点是效果可能不佳，需要额外的训练数据。
