Stable Diffusion Webui Controlnet安装指南及基本介绍

在之前的文章中，我们已经详细介绍了如何通过代码的方式使用ControlNet，但如果你希望以傻瓜的方式轻松生成AI图像，Stable Diffusion WebUI为你提供了一种简单的选择。本文将为你介绍如何在Stable Diffusion中以傻瓜的方式直接使用ControlNet来控制图像生成。

ControlNet：掌握AI图像生成的关键

如果你曾经使用过Stable Diffusion，你可能已经发现，图像的输出有着无限的可能性，就像赌博一样。即使你输入了复杂而精心设计的提示，控制AI的能力仍然有限。因此，我们需要一种方式来最大程度地控制生成的图像。

ControlNet是由斯坦福大学的研究人员开发的Stable Diffusion的扩展，它使创作者可以轻松地控制AI图像和视频中的对象。ControlNet可以根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成，它可以被概括为一种简单的稳定扩散微调方法。

安装ControlNet插件

在Stable Diffusion WebUI中，你可以轻松安装ControlNet插件，只需按照以下步骤操作：

1. 打开Stable Diffusion WebUI。
2. 如果你看不到ControlNet标签，可以点击页面最上方的”Extensions”，然后按照下图中的地址进行安装：

插件安装地址

1. 安装完成后，记得点击”Apply and restart UI”以应用更改。

使用ControlNet：简单而强大的控制工具

打开ControlNet标签后，你将能够在图像生成时获得更高的精度和更好的控制。下面我们将介绍ControlNet的主要功能以及如何使用它们：

ControlNet功能介绍

ControlNet Image选项

• Enable: 启用ControlNet。
• Invert Input Color: 用于切换上传的图像的颜色，以适应模型的需求。
• RGB to BGR: 调整图像的颜色信息。
• Low VRAM: 减缓ETA进程，适用于显存小于6GB的情况。
• Guess Mode: ControlNet自动识别图像，但效果不一定好。

调整大小模式

• Envelope (Outer Fit): 调整Txt2Image的大小以适应ControlNet图像的尺寸。
• Scale to Fit (Inner Fit): 调整ControlNet图像的大小以适应Txt2Image的尺寸。
• Just Resize: 不保留纵横比，改变ControlNet图像的大小以匹配指定的尺寸。

Canvas Width 和 Canvas Height

提供手动创建绘图或草图的空白画布，不需要上传任何图像。

Preview Annotator Result

能够快速查看选择的预处理器是如何将上传的图像或绘图转换为ControlNet的检测图，这对于尝试不同预处理器非常有用。

Preprocessor 和 Model

ControlNet的主要选项，根据所需的输出，用户可以选择相应的控制方法。 下面我们介绍几个常用的ControlNet预处理器：

常用的ControlNet预处理器

1. Canny边缘检测

Canny边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息，但要注意，背景中的物体越少效果越好。用于此预处理器的最佳模型是control_sd15_canny。

2. Depth & Depth Leres

这两个预处理器有助于生成输入图像的深度估计，用于控制图像内物体的空间定位。深度通常用于控制图像内物体的空间定位，但在大图像时可能会丢失一些细节。一般会与control_sd15_depth模型组合使用。要根据需要使用Midas Resolution函数来增加或减少detectmap中的大小和细节级别。

3. HED (Holistically-Nested Edge Detection)

HED可以创建清晰和精细的边界，输出类似于Canny，但减少了噪声。它的有效性在于能够捕捉复杂的细节和轮廓，同时保留细节特征。用于此预处理器的最佳模型是control_sd15_hed。

4. MLSD (Mobile Line Segment Detection)

MLSD适用于生成建筑和其他人造作品的轮廓，但不适用于非刚性或弯曲的物体。它适用于室内布局或建筑结构。用于此预处理器的最佳模型是control_sd15_mlsd。

5. Normal map

法线图用于精确定位物体的粗糙度和光滑程度，能够突出复杂的细节和轮廓。用于此预处理器的最佳模型是control_sd15_normal。

6. OpenPose

OpenPose生成一个基本的骨骼火柴人形象，它常用于生成多个一致的主题。用于此预处理器的最佳模型是control_sd15_openpose。