Stable Diffusion 模型的概念、类型、下载、安装、使用

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。

大家好,我是水滴~~

我们在《Stable Diffusion WebUI 界面介绍》 时,第一个就讲到了 Stable Diffusion 模型,那么这个模型是什么?该从哪儿下载?下载后放到哪儿?该怎么使用呢?本篇文章将围绕着这几个问题来逐一讲述。

文章目录

  • 一、什么是模型
  • 二、大模型的类型
    • 2.1 基础模型(Base Model)
    • 2.2 文件类型
  • 三、大模型在哪儿下载
    • 3.1 Civitai(C站)
    • 3.2 LiblibAI(哩布哩布AI)
  • 四、大模型放哪里
  • 五、使用大模型生成图片


一、什么是模型

Stable Diffusion 是一种基于扩散过程的图像生成模型,由 CompVis、Stability AI 和 LAION 共同开发。该模型通过模拟扩散过程,将噪声图像逐渐转化为目标图像,可以生成高质量、高分辨率的图像。
Stable Diffusion 模型经过大量的图文模型进行训练,具有强大的生成能力,可以胜任多种风格,如写实、原画、2.5D等,并能实现顶级的光影效果和人物风景细节。

简单来理解,Stable Diffusion 是经过训练出来的,可以生成图片的模型。人们可以针对性的来训练某种风格的模型,所以我们会看到有很多种模型。我们想要生成什么风格类型的图片,就选择对应的模型。

模型是生成图片的基础,我们想要出什么图,就选择什么样的模型,所以我们一般称它为大模型底模型主模型

在下图中有三种模型,每一种模型都有自己的风格:

在这里插入图片描述

  • Dark Sushi Mix 大颗寿司Mix:动漫风格、2.5D
  • Disney Pixar Cartoon type B:3D 风格、迪士尼皮克斯动画片
  • majicMIX realistic 麦橘写实:写实风格、亚洲人面孔

二、大模型的类型

2.1 基础模型(Base Model)

Stable Diffusion 的基础模型有很多版本,而使用最广泛的是 SD1.5 和 SDXL(Stable Diffusion Extra Large),绝大部分模型都是基于这两个版本来训练出来的。

下面是这两个版本的差异:

  • 图像质量和生成速度:SDXL在图像质量方面相对于SD 1.5有了显著的提升。SDXL能够生成更高质量的图像,具有更强的细节和更真实的质感。此外,SDXL的生成速度也比SD 1.5更快,这得益于其更大的模型规模和更高效的计算资源利用。
  • 模型规模和训练数据:SDXL是一个更大规模的模型,其参数数量比SD 1.5更多。这意味着SDXL能够处理更复杂、更精细的图像生成任务。同时,SDXL的训练数据量也比SD 1.5更大,这有助于提高其生成图像的多样性和准确性。
  • 应用场景:由于SDXL在图像质量和生成速度方面的优势,它更适合用于需要高质量图像生成的应用场景,如广告、游戏设计、影视制作等。而SD 1.5则更适合用于一些对图像质量要求不高、更注重生成速度的场景,如社交媒体分享、个人创作等。

2.2 文件类型

Stable Diffusion 模型的文件类型主要包括以下几种:

  • .ckpt:这是 TensorFlow 和 PyTorch 等深度学习框架常用的模型检查点(checkpoint)文件扩展名。它通常用于保存和加载模型在训练过程中的权重和状态。
  • .safetensors:这是一种特定的文件格式,用于保存模型的权重和参数。在某些情况下,Stable Diffusion模型可能会使用这种格式来存储其模型文件。
  • .pt:这是PyTorch深度学习框架使用的模型文件扩展名。PyTorch是一个流行的深度学习框架,因此许多模型,包括Stable Diffusion,可能会使用这种格式来存储模型文件。

在这几种模型文件中,最常用的是 .ckpt.safetensors 两种类型。
.safetensors 是 HuggingFace 推出的新的模型存储格式。与 .ckpt 不同 .safetensors 格式不会包含执行代码,因此不需要反序列化。这意味着加载模型时 .safetensors 会更快,也更安全。目前,.safetensors 已经成为主流的 Stable Diffusion 模型存储格式。。

三、大模型在哪儿下载

那么在哪里可以下载我们想要的模型呢?这里给大家推荐两个网站:

3.1 Civitai(C站)

Civitai(C站)是全球最大的 Stable Diffusion 模型的分享网站,用户可以免费下载模型。C站的作者来自于全球各地,模型种类繁多,是 AI 绘画爱好者的首选。

C站是国外网站,需要魔法才能打开。也可以关注我的专栏,我会定期分享 C站上优秀的模型。

在这里插入图片描述

3.2 LiblibAI(哩布哩布AI)

LiblibAI(哩布哩布AI)是国内最大的 Stable Diffusion 模型的分享网站,上面大部分模型用户可以免费下载。哩布哩布AI 上的模型中国元素居多,非常受国内爱好者的青睐。
在这里插入图片描述

四、大模型放哪里

模型下载完后,通常是这样子的:
在这里插入图片描述

我们将它放到 Stable Diffusion WebUI 主目录中的 \models\Stable-diffusion 目录下:

在这里插入图片描述

我们点击模型列表右侧的【刷新】按钮,模型就会被加载到列表中:

在这里插入图片描述

选择模型,会有一个加载的过程,速度与磁盘有关,固态盘加载的会快一些:

在这里插入图片描述

选择好后,我们就可以使用它了:

在这里插入图片描述

五、使用大模型生成图片

选择好模型后,输入提示词,我们先来输入一个简单的:a girl,表示生成一个女孩,然后点击【生成】按钮:

在这里插入图片描述

生成需要一个过程(显卡越好越快),右下角可以看到生成的过程和进度:

在这里插入图片描述

生成结束后,就可以看到完整图片了,点击后可以放大:

在这里插入图片描述

这样,该模型的第一张图就生成好了。

我们再来一张,这次提示词增加了绿色头发:a girl, green hair,表示生成一个绿头发的女孩:
在这里插入图片描述
生成的结果:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/485307.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python + selenium/appnium

Selenium 的自动化原理: selenium 自动化流程: 自动化程序调用Selenium 客户端库函数(比如点击按钮元素)客户端库会发送Selenium 命令 给浏览器的驱动程序浏览器驱动程序接收到命令后 ,驱动浏览器去执行命令浏览器执行命令浏览器驱动程序获取命令执行的…

#LLM入门|Prompt#1.7_文本拓展_Expanding

输入简短文本,生成更加丰富的长文。 “温度”(temperature):控制文本生成的多样性。 一、定制客户邮件 根据客户的评价和其中的情感倾向,使用大语言模型针对性地生成回复邮件。将大大提升客户满意度。 # 我们可以在…

【算法与数据结构】417、LeetCode太平洋大西洋水流问题

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引,可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析:题目要求雨水既能流向太平洋也能流向大西洋的网格。雨水流向取决于网格的高度。一个比较直接的方式是对…

c++实现栈和队列类

c实现栈和队列类 栈(Stack)Stack示意图Stack.cpp 队列(queue)queue 示意图queue.cpp 栈(Stack) Stack示意图 Stack.cpp #pragma once #include "ListStu.cpp"template<typename T> class Stack { public: /* * void push(T& tDate)* 参数一 &#xff1a;…

SQL库操作

1、创建数据库 概念 创建数据库&#xff1a;根据项目需求创建一个存储数据的仓库 使用create database 数据库名字创建 数据库层面可以指定字符集:charset/character set 数据库层面可以指定校对集:collate 创建数据库会在磁盘指定存放处产生一个文件夹 创建语法 create …

mysql优化指南之优化篇

二、优化 现在的理解数据库优化有四个维度&#xff0c;分别是&#xff1a; 硬件升级、系统配置、表结构设计、SQL语句及索引。 那优化的成本和效果分别如下&#xff1a; 优化成本&#xff1a;硬件升级>系统配置>表结构设计>SQL语句及索引。 优化效果&#xff1a;…

【MATLAB GUI】 5. 图像处理菜单(菜单编辑器)

看B站up主freexyn的freexyn编程实例视频教程系列36Matlab GUI的学习笔记 任务要求设计一个图像处理菜单&#xff0c;实现图像的打开导入、灰度处理、存储等功能 修改过文件名&#xff0c;所以运行的时候会有一点点报错&#xff0c;但是不影响运行 打开工具栏下边的菜单编辑器…

【数据结构】链式队列

链式队列实现&#xff1a; 1.创建一个空队列 2.尾插法入队 3.头删法出队 4.遍历队列 一、main函数 #include <stdio.h> #include "./3.linkqueue.h" int main(int…

【智慧零售】门店管理设备解决方案,为企业数字化运营升级赋能

2023年我国零售总额超47万亿元&#xff0c;广阔的市场提供了更多机遇&#xff0c;同时随着日趋激烈的竞争&#xff0c;企业也正面临着一些挑战&#xff1a;如何才能有效提升门店生产效率&#xff1f;降低门店运营成本&#xff1f;提高市场竞争力&#xff1f; 零售企业认识到通…

算法——模拟

1. 什么是模拟算法&#xff1f; 官方一点来说 模拟算法&#xff08;Simulation Algorithm&#xff09;是一种通过模拟现实或抽象系统的运行过程来研究、分析或解决问题的方法。它通常涉及创建一个模型&#xff0c;模拟系统中的各种事件和过程&#xff0c;以便观察系统的行为&a…

《VitePress 简易速速上手小册》第8章 安全性与部署(2024 最新版)

文章目录 8.1 安全最佳实践8.1.1 基础知识点解析8.1.2 重点案例&#xff1a;个人博客8.1.3 拓展案例 1&#xff1a;在线商店8.1.4 拓展案例 2&#xff1a;企业网站 8.2 部署到 GitHub Pages 和其他平台8.2.1 基础知识点解析8.2.2 重点案例&#xff1a;个人博客部署到 GitHub Pa…

【高德地图】Android高德地图控件交互详细介绍

&#x1f4d6;第5章 与地图控件交互 ✅控件交互&#x1f9ca;缩放按钮&#x1f9ca;指南针&#x1f9ca;定位按钮&#x1f9ca;地图Logo ✅手势交互&#x1f9ca;缩放手势&#x1f9ca;滑动手势&#x1f9ca;旋转手势&#x1f9ca;倾斜手势&#x1f9ca;指定屏幕中心点的手势操…