stable diffusion 入门教程-编程知识

stable diffusion 入门教程

news/2024/9/23 7:21:58/文章来源:https://www.cnblogs.com/supermao12/p/18332053

sd基础

工作原理&入门

输入提示词后有文本编码器将提示词编译成特征向量，vae编码器将特征向量传入潜空间内，特征向量在潜空间内不断降噪，最后通过vae解码器将降噪之后的特征向量解码成一个个像素组成的图片

一般选中默认vae模型

解码编码的模型

CLIP值越大，提前停止的越快，我们提示词被数字化的层数越少，提示词的相关性越小。反之越小越能丰富提示词
CLIP终止层数一般为2

其他功能

1.Hires.fix 高清修复
2.Refiner 当渲染到80% 切换另一个模型渲染
3.CFG 一般为5-10 越小ai越自由，越高越靠近提示词
4.随机种子提示词一样，随机种子一样则可以在不同电脑生成相同图片
5.迭代步数越高 20-30 图片质量越高，步数过高则失真，且消耗更多时间，有时候还没有效果

ADetailer 修复人物的脸
采样方法 DPM++2M

网站，模型推荐

liblib NovelAI hugingface promlib civitai github
majicmix dreamshaper primemix architectrealmix

提示词语法

英文和英文的标题符号
权重
数字越高权重越高，画面着重描述什么

[cat]=(cat:0.9)
(cat)=(cat:1.1)
{cat}=(cat:1.05)
[[cat]]=(cat:0.9x0.9)=(cat:0.81)
((cat))=(cat:1.1x1.1)=(cat:1.21)
ctrl + 上箭头 可以快捷调节  权重多低都行，过高则不行，会失真

短句与长句

一个一个词的拼写，而不是一句话呢
一个个词组会更准确，而且好调整权重
提示词控制在75个以内，正反向一样，不超过75

起手式

正向 4k masterpiece 会让图片更加精美
反向则用 text blur之类
有修饰词

提示词顺序，越靠前权重越高

no.1 画质词/画风词
no.2 主题 one girl
no.3 环境/场景/构图
no.4 lora

提示词污染
1girl,blue dress,pink hair,green umbrella,
1girl,blue dress,red hair,puple umbrella,

防止提示词尤其是颜色相互渗透使用break隔开

提示词融合

1girl,cat  猫在女孩身上
1girl And cat 猫娘 (1girl_cat 有同样效果)
[cat|dog] 也有融合效果
{forest:1girl:0.3} 在30%的时候结束画forest
{forest:1girl:0.7} 在70%的时候结束画forest

图生图&高清修复

通过图片加提示词生成结果

使用预设起手式，并添加进提示词

通过插件来快速选择自己想要的提示词

masterpiece,best quality,1girl,police,glamor,in summer,street,

将参考图拖入图生图并增加提示词
masterpiece,best quality,1girl,police,glamor,in summer,street,coat,
增加提示词coat，通过原图再次生图

图生图重绘幅度，不过高也不过低 0.3-0.5结果图与参考图之间差距不会太大0.5-0.7赋予ai更多想象空间低于0.3 或大于 0.7则扭曲变形

局部重绘，增加sunglasses提示词

upscale 二次元

GAN 4X Anime6B 适合动漫放大 (Gan生成式对抗网络简称)
重绘幅度 0.3-0.5安全区间 0.5-0.7ai自由领域
放大倍数x2 512 变为1024

文生图界面

文生图界面的放大需要锁定种子

再次点击小图标来到图生图，再次放大

无需锁定种子

再次放大模型放大

从512缩放到1024

controlnet

风格转换 softedge

最开始能通过线条处理还原参考图的只有canny
canny 硬边缘 canny将参考图通过细线勾勒出来架构基于相邻像素计算差值，死板，图片会出现莫名奇妙的元素

softedge 全能模型将主体勾勒

开启插件controlnet

pidinet 与 hed
hed 保留图片更多细节，完整性好 建筑，场景
pidinet 能够更好保留主体，忽视细节人物

使用真实系的模型，将二次元图片好好描述

线稿上色 Lineart

lineart多用于线稿上色动漫类图像处理
mj 生成线稿

点击爆炸按钮后，会有去下载插件，如控制台显示git网络失败，手动去下载到相应目录解压

最好宽高比和原来图片一样也就是宽度和高度

controlnet-2

openpose 姿态管理

姿态成功控制

dw_openpose_full效果最好
根据参考图图片高宽一致

depth [空间关系]

场景比如教堂
softedge + depth
控制线条分布 + 深度

depth

预处理用了hedsafe
softedge
负面提示词这里因为是建筑，所以去除finger有关

可以通过提示词来改变教堂颜色

人物
softedge openpose depth ipadapter
线条分布绑定骨骼空间关系面部特征迁移/风格一致性

tile

参考图模糊，再分区块重采样结果图细节更丰富

可以将图片拖入controlnet的单张图片，再次tile。可以看到叶子的纹路

controlnet Ipadapter

ipadapter 可以去hugingface里下载，根据后缀放在指定目录
换脸
材质迁移
风格迁移

换脸

生成一张图片，为参考图

将参考图拖进ipadapter

写实换脸，上传了自己的图片

材质迁移

ipdapter

softedge

depth

midas也不错

材质很重要，如果用下图材质则使用crystal materials

Ipadapter-1

风格迁移

选择综合性强的大模型 dreamshaper

生成参考图

风格转换 style transfer

点击生成，

生成成功后，高清放大

直接更换风格
甚至可以根据动漫角色的画风，直接变换

ipadapter与openpose综合运用

controlnet unit1 ipadapter

生成骨骼图

controlnet unit2 openpose

写提示词增加lora

要和骨骼图一样比例

有lora则更靠近赫敏的图片

综合案例使用

室内设计
大模型选择 Architecturerealmix

unit 1 mlsd处理完只包含直线

unit 2

生成毛坯房
Unfinished, nothing, no furniture, rough, house interior

精装修
ModernRoomDesign,Interior design,modern simplicity,green,(masterpiece),(high quality),best quality,real,(realistic),super detailed,(full detail),(4k),modern,fashion,grand,vista,(high floor:1.2),

去到图生图

改变关键词然后图生图

如果成品出来还想改变，继续图生图
如果想要壁纸变成自己图片的风格，通过勾选上传独立的控制图像
使用ipadapter，进行渲染
如果没有空间深度则继续使用depth

stable diffusion基础[liblib]

正向提示词

人物特征
1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
场景特点
outdoor,blue sky,white clouds,flowers,grass,
场景设定 [天气与光线与白天和黑夜]
day,night sunset，rain shrong rim light
movie light,light tracking,
场景形容词
beautifful ,happy
生图标准 [画质与风格]
8k，highest quality，high resolution
Comic Watercolor Realistic Abstract

1girl,solo,
suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,
outdoor,blue sky,white clouds,flowers,grass,
movie light,light tracking,
beautiful,happy,
8k，highest quality，high resolution,
realistic,extreme detail