在本地跑一个AI模型(7) - 你打草稿，模型来画
内容提要
本文介绍了两种控制图像生成过程的技术：基于神经网络的ControlNet和基于提示嵌入的Adapter。文章还讨论了CannyDetector和HEDdetector等不同的Detector模型，用于生成引导图。最后，文章展示了使用ControlNet和Adapter生成的图像对比。
延伸解读
ControlNet 与 Adapter 的适用场景
文章对比了 ControlNet 和 Adapter 两种引导技术。ControlNet 基于神经网络，效果好、可控性强，但使用复杂且需要训练数据；Adapter 基于提示嵌入，易于使用、灵活，但效果可能不佳。选择时需权衡控制精度与易用性。
Detector 模型的选择指南
文章介绍了多种 Detector 模型，如 CannyDetector 提取边缘，HEDdetector 检测复杂边缘，LineartDetector 提取线条艺术，MidasDetector 估计深度，OpenposeDetector 检测人体关键点等。根据生成需求选择合适的 Detector 能更精确地控制图像生成。
实践中的模型下载与代码测试
使用 ControlNet 和 Adapter 需要从 Hugging Face 下载相应模型，并编写代码进行测试。文章提供了示例代码，展示了如何结合 Detector 和 ControlNet/Adapter 生成图像，并对比了不同组合的效果。
Q&A
ControlNet和Adapter有什么区别？
ControlNet基于神经网络，效果好且可控性强，但使用复杂；Adapter基于提示嵌入，易于使用但效果可能不佳。
如何使用CannyDetector生成引导图？
需要下载CannyDetector模型，并使用相应的代码加载图像进行边缘检测，提取边缘信息。
什么是引导图，它的作用是什么？
引导图是通过分析图像提取特定信息，帮助控制图像生成过程，使生成的图像更符合预期。
使用ControlNet生成图像需要哪些步骤？
首先下载ControlNet模型，然后编写代码加载图像和生成引导图，最后调用生成函数生成图像。
HEDdetector与CannyDetector有什么不同？
HEDdetector能够检测更复杂的边缘，而CannyDetector主要用于提取简单的边缘信息。
Adapter的优缺点是什么？
Adapter的优点是易于使用和灵活，缺点是效果可能不佳，需要额外的训练数据。
