稳定扩散下的LoRA模型训练：实现高效、准确的语言生成

LoRA（Low-rank adaptation）是一种用于微调大型模型的技术。通过使用LoRA，生成的模型训练时间更短，生成的文件更小。

DreamBooth中的LoRA

DreamBooth集成了LoRA，可以作为Stable Diffusion WebUI的扩展功能进行安装。

LoRA_Easy_Training_Scripts

LoRA_Easy_Training_Scripts是一种本地训练工具，支持Linux和Windows系统。

对于使用Google Colab的用户，可以使用Linaqruf/kohya-trainer来更轻松上手。Reddit上有一张图解教程。

安装环境

以下以Ubuntu为例，介绍如何安装LoRA Easy Training Scripts。

1. 1. 安装Anaconda，并创建虚拟环境：

conda create --name loratraining python=3.10.6

conda activate loratraining

1. 1. 拷贝保存库：

git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git

cd LoRA_Easy_Training_Scripts

git submodule init

git submodule update

cd sd_scripts

pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu116

pip install --upgrade -r requirements.txt

pip install -U xformers

1. 1. 设置加速选项：

accelerate config

依次回答以下问题：

– This machine

– No distributed training

– NO

– NO

– NO

– all

– fp16

1. 1. 创建LoRA的训练数据目录结构：

LoRA的训练数据目录结构与常规训练不同，需要按照以下方式创建目录结构：

将已经添加好提示词的训练数据放在img_dir目录下，目录名称取名为数字_概念，数字代表要重复的步数。

1. 1. 添加训练设置档trainingconfig.json：

在LoRA_Easy_Training_Scripts目录下创建trainingconfig.json文件，并填入以下内容：

{
"pretrained_model_name_or_path": "/home/user/桌面/heralora/anything-v4.5-pruned.ckpt",
"v2": false,
"v_parameterization": false,
"logging_dir": "/home/user/桌面/heralora/log_dir/",
"train_data_dir": "/home/user/桌面/heralora/image_dir/",
"reg_data_dir": "/home/user/桌面/heralora/reg_dir/",
"output_dir": "/home/user/桌面/heralora/output_dir",
"max_resolution": "512,512",
"learning_rate": "1e-5",
"lr_scheduler": "constant_with_warmup",
"lr_warmup": "5",
"train_batch_size": 3,
"epoch": "4",
"save_every_n_epochs": "",
"mixed_precision": "fp16",
"save_precision": "fp16",
"seed": "",
"num_cpu_threads_per_process": 32,
"cache_latents": true,
"caption_extension": ".txt",
"enable_bucket": true,
"gradient_checkpointing": false,
"full_fp16": false,
"no_token_padding": false,
"stop_text_encoder_training": 0,
"use_8bit_adam": true,
"xformers": true,
"save_model_as": "safetensors",
"shuffle_caption": true,
"save_state": false,
"resume": "",
"prior_loss_weight": 1.0,
"text_encoder_lr": "1.5e-5",
"unet_lr": "1.5e-4",
"network_dim": 128,
"lora_network_weights": "",
"color_aug": false,
"flip_aug": false,
"clip_skip": 2,
"mem_eff_attn": false,
"output_name": "",
"model_list": "",
"max_token_length": "150",
"max_train_epochs": "",
"max_data_loader_n_workers": "",
"network_alpha": 128,
"training_comment": "",
"keep_tokens": 2,
"lr_scheduler_num_cycles": "",
"lr_scheduler_power": "",
"persistent_data_loader_workers": true,
"bucket_no_upscale": true,
"random_crop": false,
"caption_dropout_every_n_epochs": 0.0,
"caption_dropout_rate": 0
}

开始训练

在开始训练之前，有些系统需要指定CUDA安装路径：

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

输入以下指令，加载json设置档。忽略“libnvinfer.so.7: cannot open shared object file”警告。

accelerate launch main.py --load_json_path "/home/user/trainingconfig.json"

之后会自动开始训练。训练好的模型位于训练设置档所写的output_dir目录。将.safetensors档移动至SD WebUI根目录下的/models/Lora。

LoRA模型使用方式

在SD WebUI右上角点击“Show extra networks”。

点击要使用的LoRA，将其加入到提示词字段中。

再加上训练时使用的提示词，即可生成使用LoRA风格的人物。

结语

LoRA是一种用于微调大型模型的技术，通过LoRA Easy Training Scripts可以快速进行训练，并在SD WebUI中使用LoRA生成风格化人物。希望本文对您有所帮助。