路边的阿不
·
在本地跑一个AI模型(7) - 你打草稿，模型来画
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
本文介绍了两种控制图像生成过程的技术：基于神经网络的ControlNet和基于提示嵌入的Adapter。文章还讨论了CannyDetector和HEDdetector等不同的Detector模型，用于生成引导图。最后，文章展示了使用ControlNet和Adapter生成的图像对比。
🎯
关键要点
- 本文介绍了两种控制图像生成过程的技术：ControlNet和Adapter。
- ControlNet基于神经网络，通过学习图像和文本描述之间的关系来引导图像生成。
- Adapter基于提示嵌入，将文本提示转换为向量表示，并与图像嵌入结合以引导图像生成。
- ControlNet的优点是效果好、可控性强，但使用复杂，需要训练数据；Adapter易于使用、灵活，但效果可能不佳。
- 使用Detector模型生成引导图，常见的有CannyDetector、HEDdetector、LineartDetector等。
- CannyDetector用于提取图像边缘信息，HEDdetector适用于更复杂的边缘，LineartDetector用于线条艺术。
- MidasDetector估计物体深度，NormalBaeDetector估计表面法线，OpenposeDetector检测人体关键点。
- 使用ControlNet和Adapter生成图像时，需要下载相应的模型并编写代码进行测试。
- 文章展示了使用不同Detector和ControlNet、Adapter生成的图像对比。
➡️
