LCM-LoRA能够极大地提高Stable Diffusion等diffusion模型的图像生成速度。下面将详细介绍LCM-LoRA的工作原理,以及如何在AUTOMATIC1111和ComfyUI两个典型软件中应用该技术加速图像生成的使用教程。

一、LCM-LoRA技术介绍

1)什么是LCM-LoRA

LCM-LoRA属于一类叫做“一致性模型”(Consistency Model)的技术,这类模型通过redistillation的训练方式,使得模型能够在很少的采样步数内生成高质量图像,从而实现加速效果。

LCM-LoRA是基于Latent空间的一致性模型,即图像去噪是在Latent空间中进行,能够与Stable Diffusion等模型更高效融合。且LCM-LoRA采用了轻量的LoRA适配器架构,像一个“补丁”一样,插到现有模型中就可以达到加速目的。

2)LCM-LoRA的工作流程

简而言之,LCM-LoRA的工作流程为:

A. 对Latent空间的向量进行Denoise

B. 根据噪声时间表(Noise Schedule)添加适当噪声

C. 重复步骤A和B,直到最后采样步骤

这样既保证了有必要的Denoising过程,又大幅减少了采样次数从而加速。

二、在AUTOMATIC1111中使用LCM-LoRA

AUTOMATIC1111是一款流行的Stable Diffusion可视化界面软件,使用LCM-LoRA可以轻松得到数倍的图片生成速度提升。

1)下载并加载LCM-LoRA模型

根据使用的Stable Diffusion模型版本不同,下载对应的LCM-LoRA模型,并命名为 lcm_lora_sd15.safetensors 或 lcm_lora_sdxl.safetensors。

【图片2】下载对应版本的LCM-LoRA模型

将模型文件放到自动1111的models/lora目录下,然后在界面左侧模型面板重新加载模型。

2)配置相关超参

在提示语(Prompt)中添加:

lora:lcm_lora_sd15:1

lora:lcm_lora_sdxl:1

设置Sampling Method为Euler或LCM,Sampling Steps为4-6,CFG Scale为1-2。

不启用LCM-LoRA
启用LCM-LoRA

从例子可以明显看出,LCM-LoRA可以在质量基本不变的情况下,将Stable Diffusion的图像生成时间大幅减少!

相关阅读  Midjourney进阶 | 控制拍摄角度,距离,位置,风格

Categorized in: