LCM-LoRA能够极大地提高Stable Diffusion等diffusion模型的图像生成速度。下面将详细介绍LCM-LoRA的工作原理,以及如何在AUTOMATIC1111和ComfyUI两个典型软件中应用该技术加速图像生成的使用教程。
一、LCM-LoRA技术介绍
1)什么是LCM-LoRA
LCM-LoRA属于一类叫做“一致性模型”(Consistency Model)的技术,这类模型通过redistillation的训练方式,使得模型能够在很少的采样步数内生成高质量图像,从而实现加速效果。
LCM-LoRA是基于Latent空间的一致性模型,即图像去噪是在Latent空间中进行,能够与Stable Diffusion等模型更高效融合。且LCM-LoRA采用了轻量的LoRA适配器架构,像一个“补丁”一样,插到现有模型中就可以达到加速目的。
2)LCM-LoRA的工作流程
简而言之,LCM-LoRA的工作流程为:
A. 对Latent空间的向量进行Denoise
B. 根据噪声时间表(Noise Schedule)添加适当噪声
C. 重复步骤A和B,直到最后采样步骤
这样既保证了有必要的Denoising过程,又大幅减少了采样次数从而加速。
二、在AUTOMATIC1111中使用LCM-LoRA
AUTOMATIC1111是一款流行的Stable Diffusion可视化界面软件,使用LCM-LoRA可以轻松得到数倍的图片生成速度提升。
根据使用的Stable Diffusion模型版本不同,下载对应的LCM-LoRA模型,并命名为 lcm_lora_sd15.safetensors 或 lcm_lora_sdxl.safetensors。
【图片2】下载对应版本的LCM-LoRA模型
将模型文件放到自动1111的models/lora目录下,然后在界面左侧模型面板重新加载模型。
2)配置相关超参
在提示语(Prompt)中添加:
或
设置Sampling Method为Euler或LCM,Sampling Steps为4-6,CFG Scale为1-2。
从例子可以明显看出,LCM-LoRA可以在质量基本不变的情况下,将Stable Diffusion的图像生成时间大幅减少!