Stable Diffusion 系列教程 | 打破模型壁垒

目录

1.模型基本分类

1.1 CheckPoint 大模型/底模型/主模型

1.2 VAE美化模型/变分自编码器

1.3 HyperNetwork 超网络

1.4 embeddings(/Textual Inversion) 嵌入式向量

1.5 loRa 低秩适应模型

2. 下载途径和渠道

2.1 C站

2.1.1 如何筛选到自己需要的模型

2.1.2 使用技巧

2.1.3 学习他人作品

2.2 HuggingFace


想要做出好的AI绘画,模型是最重要的,他相当于AI绘画的大脑,决定了AI绘画质量的上限,所以了解AI绘画的各种模型非常重要

相比于Midjourney,Stable Diffusion最大的优势就是开源

因而SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。当然我们也可以训练自己的专属模型

提示词+模型+参数设置

全能型赛博画手

首先我们来了解一下模型的基本分类

1.模型基本分类

具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等

常用的有checkpoint

哇塞,这么多,那么这些究竟都是什么意思呢?

1.1 CheckPoint 大模型/底模型/主模型

检查点,常玩游戏的朋友肯定不陌生,一般会在一些节点存档

一个大的模型训练起来是非常费力的,如果每次迭代我们都从头训练那可真实个灾难,因而训练到一定程度我们就给模型存档,生成一个关键点Checkpoint模型,

常见文件后缀:后缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)

存放路径: 根目录\models\Stable-diffusion

占用存储: 模型较大,占用3-7GB

我们这里的根目录都是指我们webui的最外层的那个文件夹,比如我这里的是stable-diffusion-webui

使用方法 将模型移动到根目录\models\Stable-diffusion后,在webui界面点击刷新按钮,再点下拉就可以看到了

 

模型推荐

二次元模型

menia mix 生成动漫

AbyssOrangeMix 深源橘

counter-feit v2.5 动漫模型

dream Shper v5 模型 肖像画 梦幻的插画风格

真实系模型

realistic vision v2.0 现实模型

Delibe-rate 比较全能的一个模型

在本章第二节可以看到如何利用其他网站来筛选自己需要的模型

1.2 VAE美化模型/变分自编码器

从使用来看,我们可以把他粗略的理解为“调色滤镜” 有些时候不加载VAE的情况下,出图就会发灰发白

有很多比较新的大模型是会将VAE整合到内部的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反

而有的大模型则会有自己适配的VAE,如深渊橘,这里看模型网站上作者的推荐就好

也有一些适用于大多数模型的VAE

二次元风格:kf-f8-anime

写实风格:840000

常见文件后缀:后缀ckpt、pt

存放路径: 根目录/models/VAE

占用存储: 模型较小,占用0-1个GB

使用方法 将模型移动到根目录\models\VAE后,在VAE选项点击刷新按钮,再点下拉就可以看到了

1.3 HyperNetwork 超网络

hypernetworks是一个附加到stable diffusion model上的小型网络,用于微调,和embedings类似,不过现在用的也不是很多了,因为它的功能基本可以被smbeddings替代了

常见文件后缀: 后缀pt

存放路径: 根目录/models/hypernetworks

占用存储: 模型较小,占用几百MB

使用方法 注意HyperNetwork,embeddings这种微调网络和大模型使用方法不同

(1)将模型放到 根目录/models/hypernetworks

(2)首先点击生成按钮下的从左往右数的第三个,然后点击超网络,再点击需要用到的超网络模型,就会在提示词中添加相应的尖括号内容,如本例中的<hypernet>

 

1.4 embeddings(/Textual Inversion) 嵌入式向量

(1)优化画风,

(2)通过仅使用的几张图像,向模型教授新的概念,比如AI不知道奥特曼,通过embeddigns就可以让AI知道奥特曼长什么样子

(3)减少提示词的输入,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦,解决AI绘画痛点,如画手等等

常见文件后缀: 后缀pt

存放路径: 根目录/embeddings

模型的切换通过文件名称来触发

占用存储: 模型很小,占用几十kB到几百kB

使用方法:

(1)将模型放到 根目录/embeddings目录下

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击嵌式入,再点击需要用到的嵌入式模型,就会在提示词中添加相应的尖括号内容

1.5 loRa 低秩适应模型

进行人物模型的微调,

让AI学习到一些新的人物概念

常见文件后缀: 后缀safesensors

存放路径: 根目录/embeddings

占用存储: 模型较小,10-200 MB。必须与checkpoint模型一起使用。

使用方法:

(1)将模型放到 根目录/models/Lora

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击Lora,再点击需要用到的Lora模型,就会在提示词中添加相应的尖括号内容

除了这些以外还有DreamBooth模型,LyCORIS模型等等,这些模型在模型的进阶用法给大家介绍

2. 下载途径和渠道

SD官方会发布模型

但是官方这个模型出图风格比较单一,因而我们现在下载使用的大多是私人训练的

主流下载网站

2.1 C站

需要科学上网 C站是最主流的一个AI绘画模型网站了,对于模型都是图像化展示,非常便捷

 

2.1.1 如何筛选到自己需要的模型

1 通过模型生成内容区分查找 模型栏目上边有一排可以选择的

2 利用我们第一节讲到的模型类型区分

 

 

2.1.2 使用技巧

注意模型的各种信息,包括作者推荐的VAE,分辨率设置,采样方式等等

如我们点击进入ReV Animated这个模型的下载界面,在模型的介绍界面里有show More

 

然后就可以看到作者推荐的VAE啦,提示词prompting啦之类的

 

初学可以使用别人推荐的一些大模型

stable diffusion 常用大模型解释和推荐(持续更新ing) - 知乎 (zhihu.com)

2.1.3 学习他人作品

C站除了优秀的模型以外,还会有很多优秀的作品,我们可以学习他们的模型搭配,提示词等等

点击C站的Images

点进去以后就可以看到详细的图片生成信息,模型搭配,提示词,采样方式,种子等等

 

2.2 HuggingFace

不需要科学上网,网速较快

 

Hugging Face – The AI community building the future.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/84752.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Anolis 8.6 下 Redis 7.2.0 集群搭建和配置

Redis 7.2.0 搭建和集群配置 一.Redis 下载与单机部署1.Redis 下载2.虚拟机配置3.Redis 单机源码安装和测试4.Java 单机连接测试1.Pom 依赖2.配置文件3.启动类4.配置类5.单元测试6.测试结果 二.Redis 集群部署1.主从1.从节点配置2.Java 测试 2.哨兵1.哨兵节点配置2.复制一个哨兵…

【python】Leetcode(primer-dict-list)

文章目录 260. 只出现一次的数字 III&#xff08;字典 / 位运算&#xff09;136. 只出现一次的数字&#xff08;字典&#xff09;137. 只出现一次的数字 II&#xff08;字典&#xff09;169. 求众数&#xff08;字典&#xff09;229. 求众数 II&#xff08;字典&#xff09;200…

字符串经典问题

1. 验证回文串 验证回文串 如果在将所有大写字符转换为小写字符、并移除所有非字母数字字符之后&#xff0c;短语正着读和反着读都一样。则可以认为该短语是一个 回文串 。 字母和数字都属于字母数字字符。 给你一个字符串 s&#xff0c;如果它是 回文串 &#xff0c;返回 t…

2023年7月天猫糕点市场数据分析(天猫数据怎么看)

烘焙食品行业是近几年食品领域比较火热的赛道之一&#xff0c;随着居民饮食结构的变化&#xff0c;人均消费水平的上升&#xff0c;蛋糕、面包等烘焙糕点越发成为消费者饮食的重要组成部分。同时&#xff0c;在烘焙糕点市场中&#xff0c;老品牌不断推新迭变&#xff0c;新品牌…

芯科科技推出专为Amazon Sidewalk优化的全新片上系统和开发工具,加速Sidewalk网络采用

芯科科技为Sidewalk开发提供专家级支持 中国&#xff0c;北京 - 2023年8月22日 – 致力于以安全、智能无线连接技术&#xff0c;建立更互联世界的全球领导厂商Silicon Labs&#xff08;亦称“芯科科技”&#xff0c;NASDAQ&#xff1a;SLAB&#xff09;今日在其一年一度的第四…

大数据Flink(六十八):SQL Table 的基本概念及常用 API

文章目录 SQL & Table 的基本概念及常用 API 一、​​​​​​​一个 Table API\SQL任务的代码结构

bh004- Blazor hybrid / Maui 使用 BootstrapBlazor UI 库快速教程

1. 建立工程 bh004_BootstrapBlazorUI 源码 2. 添加 nuget 包 <PackageReference Include"BootstrapBlazor" Version"7.*" /> <PackageReference Include"BootstrapBlazor.FontAwesome" Version"7.*" />3. 添加样式表文…

Shell基础_Shell概述及脚本执行方式

文章目录 1. Shell概述1.1 Shell是什么1.2 Shell的分类1.3 Linux支持的Shell1.4 总结 2. Shell脚本的执行方式2.1 echo输出命令2.2 第一个脚本2.3 脚本执行 1. Shell概述 1.1 Shell是什么 Shell是一个命令行解释器&#xff0c;它为用户提供了一个向Linux内核发送请求以便运行…

本地私有仓库、harbor私有仓库部署与管理

本地私有仓库、harbor私有仓库部署与管理 一、本地私有仓库1.本地私有仓库简介2.搭建本地私有仓库3.容器重启策略介绍 二、harbor私有仓库部署与管理1.什么是harbor2.Harbor的特性3.Harbor的构成4.harbor部署及配置5.客户端测试 三、Harbor维护1.创建2.普通用户操作私有仓库3.日…

【滑动窗口】leetcode1658:将x减到0的最小操作数

目录 一.题目描述 二.思路分析 三.代码编写 一.题目描述 将x减到0的最小操作数 题目要求我们在数组的两端不断地取值&#xff0c;使得取出的数之和等于x&#xff0c;问我们最少需要取几次。 也就是说&#xff0c;在两边取两个区间&#xff0c;使得这两个区间的之和等于x&a…

idea http request无法识别环境变量

问题描述 创建了环境变量文件 http-client.env.json&#xff0c;然后在*.http 文件中引用环境变量&#xff0c;运行 HTTP 请求无法读取环境变量文件中定义的变量。 事故现场 IDEA 版本&#xff1a;2020.2 2021.2 解决步骤 2020.2 版本环境变量无法读取 2021.2 版本从 2020.…

基于Jenkins自动化部署PHP环境---基于rsync部署

基于基于Jenkins自动打包并部署Tomcat环境_学习新鲜事物的博客-CSDN博客环境 准备git仓库 [rootgit ~]# su - git 上一次登录&#xff1a;五 8月 25 15:09:12 CST 2023从 192.168.50.53pts/2 上 [gitgit ~]$ mkdir php.git [gitgit ~]$ cd php.git/ [gitgit php.git]$ git --b…