一、ControlNet是什么
ControlNet是一个Stable Diffusion模型,它可以让你从参考图片中复制构图或人体姿态。许多人认为它是目前AI图像生成中最好的模型之一。你可以将它与文本到图像和图像到图像技术结合使用。ControlNet增加了对图像生成的另一层控制,使得更容易得到你想要的结果。
二、它是如何工作的
ControlNet的工作分两步:
步骤1:检测给定图片的轮廓并将其保存为标注图片,也称为控制图。这一步称为标注或预处理。
步骤2:将控制图馈送到ControlNet模型,并根据ControlNet和给定提示生成新图像。
三、有哪些应用案例
1. 渲染素描
对所有艺术家和设计师来说,你必须尝试这个功能!如果你有一张没有颜色的黑白素描,ControlNet可以轻松地将其转换成充满活力和完全彩色的渲染。
在这个例子中,我们使用ControlNet将一个女孩的素描变成完全渲染的图像,仅用了一个非常简单的提示词。
正如你所看到的,你可以获得各种风格的图像,最重要的是这些都是在几秒钟内生成的!它不仅可以帮助你立即想象你的素描如果添加颜色会是什么样子,而且向你展示了你可能从未想过的可能性。准备好惊喜吧!
你可以在OpenArt上通过使用ControlNet轻松地将素描变成完全渲染的图像。你可以使用Lineart或Canny作为注释方法并上传图像。
2. 为产品设计师提供产品设计创意
另一个更具体的从素描到渲染的用例是产品设计。考虑这样一个场景:你被赋予设计一个迷人的包装来推广一款即将推出的香水。为了加快灵感的产生过程,你可以轻松地素描一个基本的香水瓶轮廓,并依靠AI来进行思考,以促进快速和创新的设计探索。
正如你所看到的,ControlNet可以生成不同纹理、氛围和背景的设计。它允许设计师迅速探索和表达他们的创意概念,以快速可视化他们的想法。
3. 为室内设计师提供装修设想
室内设计渲染很容易花费几天时间,并需要大量创造力。然而,ControlNet是一个游戏规则改变者!
下面是一个ControlNet如何完全改变一个平庸的客厅成惊人装修客厅的例子。
4. 为营销人员提供图库图片的变体形式
营销人员很容易花费数小时搜索完美的图库图片来使用。然而,有了ControlNet,你可以在几秒钟内制作出自己的完美图片。
假设你发现了一个对你有吸引力的库存图片。然而,你需要图片中是一个男人,而不是女人,你也希望将紫色色调加入,以与你的品牌颜色方案相匹配。在这种情况下,你可以利用ControlNet根据你的偏好定制图片。
你可以通过利用构图进一步创建完全不同风格的图片。
五、如何选择注释模式（Annotation Mode）
Canny 提取图像的轮廓。一个很好的通用注释方法,用于重新训练构图。
Depth 从参考图像中估计深度信息。非常适用于室内设计、建筑和街景。
Lineart/Lineart anime 渲染图像的轮廓非常适用于动漫和艺术。
Scribble 将图片变成涂鸦,就像手绘的一样。如果你打算保留图像中较少的细节,请使用此模式,因为它通常会产生较少细节的清晰线条。
Openpose 检测人体的姿势。非常适合肖像或任何包含人物的图像。