SD3 Medium 的优点

1. 逼真度

SD3 Medium 在生成逼真的图像方面表现出色,尤其是在处理手部和面部细节时,能够避免常见的失真和瑕疵。通过采用 16 通道变分自编码器(VAE),它能够在各种风格和构图中提供高度逼真和详细的图像。

2. 提示理解能力

SD3 Medium 能够理解复杂的提示词,包括空间推理、动作、构图元素和艺术风格。它使用多种文本编码器来平衡性能和效率,使其在处理长提示词时表现尤为出色。

3. 字体排版

SD3 Medium 在文本生成方面达到了前所未有的质量,能够精确形成字母,调整字距和字间距,并且拼写准确。通过使用扩散变压器架构,它解决了之前模型在生成可读文本时遇到的困难。

4. 资源效率

SD3 Medium 的显存占用率较低,优化后能够在消费级 GPU 上流畅运行而不影响性能。虽然模型参数只有 20 亿,但它依旧能够提供高效的图像生成能力。

5. 微调能力

该模型能够快速从小数据集中吸收细微的细节,使其在特定使用场景和艺术风格中高度可定制。用户可以根据自己的需求,微调模型以达到理想的效果。

SD3 Medium 的缺点

尽管 SD3 Medium 有许多优点,但它也存在一些问题,需要用户在使用时加以注意。

1. 人体解剖结构

SD3 Medium 在生成动态姿势或非直立姿势的人物时表现不佳。无论是男性还是女性,生成的图像可能会出现解剖结构上的问题。这可能是因为训练数据集中缺乏这些类型的图像,使得模型无法正确生成这些场景。

2. 审查机制

SD3 Medium 是我见过的审查最严格的模型之一。例如,如果你尝试生成一些不适合工作场所的图像,无论你怎么调整提示词,最终生成的图像都会避开这些敏感内容。这对一些用户来说可能是个问题,虽然未来的微调可能会解决这个问题。

3. 许可证问题

SD3 Medium 的基础模型采用了非商业用途许可证。这意味着你可以免费用于学术研究或个人娱乐,但如果你想通过它赚钱,就需要支付许可证费用。年收入低于100万美元的公司,每月只需支付20美元的费用,这对公司来说是非常划算的。

补充消息:
由于 Stability AI 的许可证条款存在争议,SD3(Stable Diffusion 3)在热门 AI 艺术平台 Civitai 上被暂时禁用。Civitai 暂时禁止所有基于 SD3 的模型,包括使用 SD3 输出进行微调的模型或包含 SD3 图像的训练数据。这是因为 Stability AI 的许可证可能对这些模型的使用施加过多限制,影响了衍生 AI 艺术模型的发展和共享。由于许可证条款不明确,Civitai 选择谨慎行事,直到收到 Stability AI 的官方指导并通过法律团队审查。一些人认为这些担忧被夸大,但也有人批评 Stability AI 条款模糊,导致了困惑。

相关阅读  推荐8个免费AI音乐制作工具 - 没有音乐基础也能创作

Categorized in: