Stable Diffusion教程|图生图原理和实战

Stable Diffusion凭借其卓越的图生图功能,极大地提升了图像生成的可控性与输出品质,赋予用户前所未有的个性化创作风格表达能力。这一革新特性使得Stable Diffusion不仅能精准地捕捉用户的艺术愿景,更能以数字化手段孕育出新颖且极具创意的画作。本篇教程将深入剖析图生图的原理,聚焦于Stable Diffusion的图生图AI绘画技巧,助力您在创作独特数字艺术作品时拓宽灵感源泉,精进技艺。

- 一、图生图原理

1. 扩散模型

      Stable    Diffusion的核心是基于扩散模型的框架。扩散模型是一种深度学习模型,它模仿物理过程中的分子扩散现象,将图像从纯噪声逐渐演化为清晰图像。这个过程分为两个相反的阶段:扩散(增加噪声)和逆扩散(去除噪声并恢复结构)。在图生图场景中,逆扩散阶段被用来根据用户提供的输入图片和提示词,逐步生成目标图像。

2. 条件输入

      不同于纯粹的文生图,图生图不仅接受文字提示,还接受一张源图片作为额外条件。源图片的信息被编码为隐空间中的向量表示,与文字提示共同作为逆扩散过程的起点。模型在更新图像状态时,既参考了源图片的结构特征,又受到文字提示的语义指导,从而生成与源图相关联且符合提示要求的新图像。

3. 提示词与反向提示词

      提示词是用户为指导生成过程提供的关键词或短语,它们描述了期望的风格、氛围、元素或主题。反向提示词则用于指定不希望出现在生成结果中的内容。两者结合使用,能够更精确地约束模型的生成行为,确保输出图像既包含了期望的变化,又避免了不必要的元素。

二、图生图实战

1. 准备工作

      安装Stable Diffusion环境和相关插件。前几篇已讲过了,还没学习的同学,请到文章末尾查看往期教程,进行学习。SD Web UI 切换到图生图界面:    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d5494c708f5b480cbb6f2a9a6c6a3b60.png)图生图功能的主要特点:1、基于原始图像作为参照,生成新图像时确保关键的视觉样式与布局得以忠实保留。2、运用文本指令,精准指引图像生成的个性化路径,涵盖风格重塑、细节强化等多元需求。3、运用分布渲染技术递进式提升与细化图像品质,步步雕琢至理想状态。4、借力于原图固有的视觉元素,显著提升生成图像的契合度与可控性,确保结果贴合预期。5、轻松驾驭多种艺术流派的模拟演绎,只需借助精准的文字描述即可实现风格的无缝切换。6、具备高效批处理能力,可一次性自动化处理大量图片,无缝完成整体优化与定制化修正。

2. 重要参数

      step1 选择一个写实的大模型,再上传源图片:选择一张清晰、主题明确的源图片作为改造基础。注意,图片质量和内容直接影响生成结果。![**在这里插入图片描述**](https://img-blog.csdnimg.cn/direct/6c858cc398a24812bd342ad5470cafbb.png)

step2 缩放模式:(拉伸/剪裁/填充/直接缩放)
拉伸:自动调整大小,当宽高比例不正确时,主体被拉伸
剪裁:自动调整图像大小,剪裁多余部分
填充:用图像的颜色自动填充空白区域
直接缩放(放大潜变量) 在这里插入图片描述
step3 图片尺寸,点击小三角会自动保持与原图尺寸一致或自定义尺寸。如:512*512。
在这里插入图片描述
step4 编写提示词:构思简洁而准确的提示词,描述期望的生成效果。例如,“a hummingbird”。

      step5 设置重绘幅度0~1 和 采样方法,点击“生成”按钮。    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0ca01b03a1834957ade3762109f91276.png)

重绘幅度低于0.5更接近原图,大于0.7AI创作力度变大。

3. 真人转二次元 step1

  下载一个二次元的大模型:AWPainting 下载地址:https://www.liblib.art/modelinfo/1fd281cf6bcf01b95033c03b471d8fd8

下载存放文件路径:
在这里插入图片描述
step2 使用AWPainting模型,上传图片真人照片,设置尺寸512*768,重绘幅度0.6,采样器DPM++ 2M
Karras,提示词“animation style,a cute girl,”(你可随意发挥)。
在这里插入图片描述
小技巧:你可以把重绘幅度设置0.2,循环生成图片,逐步转换二次元效果,最后通视频编辑软件把图片制作转场动画。

4、制作头像 step1

       上传大头照512*512,使用AWPainting模型,设置同尺寸1024*1024,重绘幅度0.6,采样器DPM++ 2M   

Karras。
在这里插入图片描述
step2 提示词"futuristic sci-fi themed girl,set against a high-tech
cityscape at night,CG rendered,metallic sheen,cool special
effects,seductive smile,",生成图像。
在这里插入图片描述

总结:

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/689432.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅谈运维数据安全

在数字化日益深入的今天,运维数据安全已经成为企业信息安全体系中的核心要素。运维工作涉及到企业信息系统的各个方面,从硬件维护到软件升级,从网络配置到数据备份,无一不需要严谨的数据安全保障措施。本文将从运维数据安全的重要…

【MATLAB源码-第206期】基于matlab的差分进化算法(DE)机器人栅格路径规划,输出做短路径图和适应度曲线。

操作环境: MATLAB 2022a 1、算法描述 差分进化算法(Differential Evolution, DE)是一种有效的实数编码的进化算法,主要用于解决实值函数的全局优化问题。本文将详细介绍差分进化算法的背景、原理、操作步骤、参数选择以及实际应…

taos数据库服务器安装

涛思数据库服务器安装分为两种情况 一。新服务器直接安装(非常好) 二。旧服务器删除后删除干净再安装(麻烦得很) 先来讲解一下情况一: 找需要的taos安装版本链接:https://docs.taosdata.com/releases/tde…

推荐全网最全的AI小白进阶指南

1. 引言 您想学习人工智能?但不知道如何开始,也不知道从哪里开始?互联网上的资源总是丰富多彩,质量参差不齐,往往容易看花眼而无从下手。 鉴于此,本文重点推荐一些个人收集的还不错的一些资源供大家学习参…

视频监控系统中,中心录像服务器的录像文件实际大小和理论值相差很大的问题解决

目录 一、现象描述 二、视频监控的录像文件计算 (一)计算方法 1、仅视频部分 2、视频和音频部分 3、使用平均码率 (二)计算工具 1、关注威迪斯特公众号 2、打开“计算容量”的小工具 三、原因分析 (一&…

C++入门系列-析构函数

🌈个人主页:羽晨同学 💫个人格言:“成为自己未来的主人~” 析构函数 概念 析构函数,与构造函数功能相反,析构函数不是完成对对象本身的销毁,局部对象销毁工作是由编译器完成的,而对象在销…

【C++】学习笔记——模板进阶

文章目录 十一、模板进阶1. 非类型模板参数2. 按需实例化3. 模板的特化类模板的特化 4. 模板的分离编译 未完待续 十一、模板进阶 1. 非类型模板参数 模板参数分为类型形参和非类型形参 。类型形参即:出现在模板参数列表中,跟在class或者typename之类的…

C++入门系列-构造函数

🌈个人主页:羽晨同学 💫个人格言:“成为自己未来的主人~” 类的6个默认成员函数 如果一个类中什么成员都没有,简称为空类。 空类中真的什么都没有吗?并不是,任何类在什么都不写时,编译器会…

即插即用篇 | YOLOv8 引入 Strip Pooling | 重新思考场景解析的空间池化

本改进已集成到 YOLOv8-Magic 框架。 空间池化已被证明在捕获像素级预测任务的长距离上下文信息方面非常有效,如场景解析。在本文中,我们超越了通常具有N N规则形状的常规空间池化,重新思考空间池化的构成,引入了一种新的池化策略,称为条带池化,它考虑了一个长而窄的核,…

禅道20.0.stable发布啦,重构底层PHP和UI框架,用户体验全新升级

禅道20.0.stable版本终于正式发布啦! 自2023年4月启动以来,经过一年多的努力,我们动员了全公司的产研力量,致力于为用户提供全新的用户体验。 本次版本升级主要包括两个方面:一是用户体验全新升级,二是整体…

CLIP 浅析

CLIP 浅析 文章目录 CLIP 浅析概述如何训练CLIP如何使用Clip进行图像分类优缺点分析优点缺点 概述 CLIP的英文全称是Contrastive Language-Image Pre-training,即一种基于对比文本-图像对的预训练方法或者模型。 如何训练CLIP CLIP包括两个模型:Text …

机器学习:葡萄酒品质预测

说明,此项目是我的期末大作业,包括了对数据集探索,预处理以及分类的各个详细过程与描述,代码简单,主要是一个分类项目的流程,并没有对模型进行深度研究,因此我写在这里。 目录 一、问题介绍 …