Lora模型训练：如何用脸在stable diffusion出图的专属指南

你是否曾经想要将自己的头像转化成Stable Diffusion（SD）风格的图像？如果是的话，今天你来对了地方。本文将介绍如何使用Textual Inversion技术来训练你的头像，学习SD的embedding功能，以实现生成自己头像的效果。

我是Stable Diffusion攻略的小编，非常高兴为你带来这个有趣而又创新的教程。

功能简介

1. 价值

在介绍如何实现这一目标之前，让我们先来了解一下Textual Inversion技术和SD的embedding功能有什么价值。一方面，这项技术能够让你的文件保持相对较小，同时能够同时调用多个文件来进行训练。这对于需要处理多个风格或特点的图像素材非常有用。

2. 简述

通常情况下，SD中的模型或checkpoint文件都相当庞大，且每次生成图像时只能使用其中一个模型。但如果你希望一次性混合多种风格，那么可以使用embedding功能来实现这一目标。每个embedding文件都与一个或多个关键词（trigger words）相关联，你可以在prompt中使用这些关键词来激活相应的embedding文件。每个embedding都是基于特定的模型生成的。如果你下载的embedding是基于SD1.5模型训练的，那么它只能在SD1.5模型上生效。这些训练好的embedding文件通常以（.pt）格式保存，它们非常小，每个只有几兆字节或几十千字节的大小。

如何训练

现在，让我们来看看如何训练你的头像，以便在Stable Diffusion中生成图像。

1. 准备基础素材

首先，你需要收集10到20张能够体现你面部特征的照片素材。这些照片可以包括不同的表情、角度和背景，以便能够捕捉到你的多种特点。

2. 优化素材精度

为了提高素材的精度，你可以使用SD提供的工具，在”Extras/Batch Process”下选择”Scale by”的选项，比如”upscale1：SwinIR 4x”。这可以确保你的素材质量更高。

3. 剪裁素材尺寸

将素材剪裁成正方形1：1的尺寸，通常是512 x 512像素。你可以使用在线图片剪裁工具来完成这一步骤。

4. 设置输入输出

将准备好的训练素材放入一个输入文件夹，同时建立一个空的输出文件夹，用于预处理时输出素材。

5. 预处理的设置

• 设置输入和输出文件夹的路径。
• 勾选“Create flipped copies 生成镜像副本”。
• 勾选“Use BLIP for caption”或“Use deepbooru for caption”。

6. 创建embedding

在训练/生成embedding部分，设置一个你喜欢的名字用于保存命名。请注意，只能使用英文，尽量选择一个独特的名称，以避免与prompt中的其他关键词重复。

7. 训练

在训练设置中：

• 选择你之前创建的embedding文件。
• 设置渐进式学习率，如0.05:10, 0.02:20, 0.01:60, 0.005:200, 0.002:500, 0.001:3000, 0.0005。
• 根据你的显存情况，调整Batch size。
• 设置数据集目录。
• 选择一个prompt模板，建议自建一个新模板，只输入：a photo of [name], [filewords]。
• 设置分辨率，根据显存大小选择512×512。
• 设置训练步数，显存较小的情况下，建议3000步就可以了。
• 设置每多少步保存一个测试图片和embedding文件，建议刚开始训练，50步就可以看下情况。
• 点击”训练Embedding模型”，训练时间较长，根据机器硬件性能不同，可能需要几个小时。

如何应用

现在，你已经成功训练了自己的embedding文件，接下来可以将其应用于生成Stable Diffusion图像。

在prompt输入框中，添加你的embedding文件名称，就可以应用了。根据需要，你还可以输入多个embedding文件名称标签和程度值来进行混合，比如：({embedding文件名称A}：0.4)，({embedding文件名称B}：0.6)。这将让你更灵活地控制生成的图像风格。

希望这篇文章对你有所帮助，让你能够在Stable Diffusion中创造出独特的、个性化的图像！如果你有任何问题或需要进一步的帮助，请随时联系我们。我们期待看到你的创作！