本文将介绍超网络模型(hypernetworks)及其如何与AUTOMATIC1111 Stable Diffusion GUI一起使用,包括基础知识和实际应用。

 Stable Diffusion中的超网络模型是什么

Hypernetwork是一种微调技术,最初由Novel AI开发,他们是Stable Diffusion的早期采用者。它是一个小型神经网络,附加在Stable Diffusion模型上以修改其风格。这个小hypernetwork插入到哪里呢?当然是Stable Diffusion模型中最关键的部分:噪声预测器UNet的交叉注意力模块。通常情况下,hypernetwork是一个简单的神经网络:具有dropout和激活函数的全连接线性网络。它通过插入两个转换key和query向量的网络来劫持交叉注意力模块。

训练时,稳定扩散模型被锁定,但附加的超网络可以更改。由于超网络很小,因此训练速度快且需要有限的资源。可以在普通计算机上进行训练。

超网络的主要吸引力在于快速训练和小文件大小。需要注意的是,它与机器学习中通常所说的超网络不同。后者是为另一个网络生成权重的网络。

超网络模型和其他模型的区别

检查点(Checkpoint) 模型

检查点模型包含生成图像所需的所有必要信息,文件大小较大,范围从2到7 GB。超网络通常低于200 MB。

超网络不能单独运行。它需要与检查点模型一起工作才能生成图像。

检查点模型比超网络更强大。它可以比超网络更好地存储样式。在训练检查点模型时,整个模型都会进行微调。在训练超网络时,只有超网络进行微调。

LoRA 模型

LoRA模型与超网络最相似。它们都很小,只修改交叉注意力模块。不同之处在于它们如何进行修改。LoRA模型通过改变权重来修改交叉注意力,而超网络则通过插入额外的网络来实现。

用户通常发现LoRA模型产生更好的结果。它们的文件大小类似,通常低于200MB,并且比检查点模型要小得多。

LoRA是一种数据存储方法。它不定义训练过程,可以是dreambooth或附加训练。超网络定义了训练过程。

Embeddings

文本嵌入(Embeddings)是一种称为文本反演的微调方法的结果。与超网络一样,文本反演(textual inversion)不会改变模型,只是定义新关键词以实现某些风格。在稳定扩散模型的不同部分中,文本反演和超网络起作用。文本反演在文本编码器中创建新的嵌入。超网络将一个小网络插入到噪声预测器的交叉注意力模块中。

超网络模型推荐

Water Elemental 水元素可以将任何物质转化为水!在主语前使用“水元素”这个词组。确保描述背景。你可以使用Stable Diffusion v1.5与此超级网络配合使用,并调整其权重以调节水效果。

InCase Style 用于 Anything v3 模型,可修改该模型以产生更成熟的动漫风格。

Gothic RPG Artstyle哥特式RPG艺术风格

相关阅读  动漫二次元AI绘画工具推荐

Categorized in: