ComfyUI插件:ComfyUI_Noise节点

news/2024/11/17 2:40:12/文章来源:https://www.cnblogs.com/LIU-QiuXue/p/18350539

前言:

学习ComfyUI是一场持久战,ComfyUI_Noise是对ComfyUI中的噪声进行控制的一个插件库,该库可以完成图像噪声的反推,并通过采样再以几乎无损的方式返回原图,通过该库的使用可以更好的帮助图像恢复原始的相貌,非常适合在生成视频领域用作人物转绘使用。祝大家学习顺利,早日成为ComfyUI的高手!

 

目录

一、安装方法

二、BNK_NoisyLatentImage节点

三、BNK_SlerpLatent节点

四、BNK_GetSigma节点

五、Inject Noise节点

六、BNK Unsampler节点

 

一、安装方法

在ComfyUI主目录里面输入CMD回车。

1

在弹出的CMD命令行输入git clone xxx,即可开始下载。

2

在终端输入下面这行代码开始下载

git clone https://github.com/BlenderNeko/ComfyUI_Noise.git

 

二、BNK_NoisyLatentImage节点

这个节点专注于在潜空间中生成带有噪声的潜在图像。这对于图像生成任务中特别有用,例如在生成对抗网络(GANs)或其他基于潜空间的生成模型中,引入噪声可以增加图像的多样性或增强模型的鲁棒性。

3

重要参数:

source → 噪声产生的位置--可选择CPU或者GPU

示例:通过Image Compare (mtb)节点对比不同图片之间的差异,分别对比CPU产生的噪声图和GPU产生的噪声图,并在该图之上进行去噪生图,最终对比两个生图之间的差异。

4

从结果可以看出CPU和GPU产生的噪声存在差异,但是差异很小不足以完全影响最终出图的质量或者构图,所以在选择方面可以进行平替。

使用场景:

· 图像生成增强:在图像生成过程中,通过引入噪声增加图像的多样性,避免生成的图像过于相似。

· 模型鲁棒性测试:在测试生成模型时,通过添加噪声来评估模型的鲁棒性和稳定性。

· 数据增强:在潜空间中生成多样化的训练数据,增强模型的泛化能力。

通过使用BNK_NoisyLatentImage节点,可以在图像生成和处理工作流中实现高效的噪声添加,增强生成图像的多样性和模型的鲁棒性。

 

三、BNK_SlerpLatent节点

这个节点专注于在潜空间中执行球面线性插值(Slerp),生成介于两个潜在向量之间的中间向量,从而实现图像生成中的平滑过渡。

5

重要参数:

factor → 潜空间图像混合比例,可以理解为透明度

示例:

6

使用场景:

· 图像生成过渡:在图像生成任务中,通过在两个潜在向量之间插值,生成从一个图像到另一个图像的平滑过渡序列。

· 潜在空间探索:通过插值在潜空间中探索不同向量之间的过渡,理解生成模型的潜在空间结构。

· 动画生成:通过生成多个插值点,可以创建从一个图像到另一个图像的平滑动画效果。

通过使用BNK_SlerpLatent节点,可以在图像生成工作流中实现潜在空间中的平滑插值和过渡,探索潜在空间结构,创造出平滑且连贯的图像生成效果。

 

四、BNK_GetSigma节点

这个节点用于提取或计算潜在空间中潜在变量的标准差(Sigma)。标准差(Sigma)在图像生成和处理任务中非常重要,特别是在处理噪声或潜在变量时,了解和调整Sigma值可以影响生成图像的质量和特性。

7

重要参数:

model → 选择要预测的模型

示例:下图为该节点的初步用法,理解还不够深刻,未能想到更好的使用方式,可能需要更加深刻的研究才能够发现这个节点的真正含义。

8

使用场景:

· 潜在空间分析:通过计算潜在变量的Sigma值,分析潜在空间的分布特性,理解模型的行为。

· 噪声调整:在生成对抗网络(GANs)或其他潜在变量模型中,根据Sigma值调整噪声,控制生成图像的特性。

· 图像处理优化:利用Sigma值来优化图像处理算法的参数设置,提高图像生成的质量。

通过使用BNK_GetSigma节点,可以在图像生成和处理工作流程中有效地计算和利用潜在空间中的Sigma值,从而提升模型的控制力和图像生成的质量。

 

五、Inject Noise节点

这个节点专注于在图像或潜在向量中引入随机噪声。通过配置噪声的强度和类型,可以灵活地控制噪声的注入,从而影响生成或处理图像的特性。

9

重要参数:

latents → 空的潜空间图像

mask → 注入的噪声蒙版区域

此节点呢可以与上一节点结合使用,具体图例可参考上一节点的示图。

使用场景:

· 生成图像多样性:通过注入噪声增加生成图像的多样性,使得生成的图像更加丰富。

· 模型鲁棒性测试:向图像或潜在向量中注入噪声,测试模型在处理噪声数据时的性能。

· 模拟真实世界场景:在训练或测试模型时,通过噪声注入模拟现实中的不确定性,提高模型的泛化能力。

通过使用Inject Noise节点,可以在图像处理和生成任务中有效地控制和利用噪声,增加数据的多样性,测试模型的鲁棒性,并提升生成图像的真实感和丰富性。

 

六、BNK Unsampler节点

这个节点专注于在生成图像的过程中进行反采样操作。它可以将经过采样或处理的潜在空间表示转换回图像或其他形式的输出,这对于深度学习模型尤其是生成对抗网络(GANs)等的训练和推理过程非常有用。

10

重要参数:

model → 需要选择对应的模型进行噪声预测

cfg → 推荐使用1进行噪声反推,生图也推荐1

示例:如图所示,我们首先上传一张原图,然后加载一个文生图工作流,通过该节点进行噪声预测,然后使用预测的潜空间图像,使用相同的配置,比如VAE,采样器,条件信息等进行噪声的去除,最终生成和原图一样的图像,通过image对比节点,可以看出没有出现差异。

11

使用场景:

· 潜在空间转换:将潜在空间中的表示(如经过采样处理的潜在向量)转换回图像或其他形式的输出,进行进一步分析或展示。

· 图像生成过程中的逆操作:在生成对抗网络(GANs)或变分自动编码器(VAE)等模型中,使用反采样技术来恢复或生成图像。

· 复杂图像处理工作流:作为图像生成或处理工作流的一部分,反采样是从潜在表示到实际图像生成的关键步骤。

通过使用BNK Unsampler节点,可以在图像生成和处理任务中实现从潜在空间表示到实际输出的转换,完成复杂的图像生成工作流,并满足各种深度学习应用的需求。

                               **孜孜以求,方能超越自我。坚持不懈,乃是成功关键。**

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/780231.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初学Java5

对Java的基础内容有了一定的了解,学习编写一个比较全面的练习题:

远程控制游戏软件,ToDesk低延迟安全又稳定

远程控制软件极大程度方便了打工人的办公需求,但有时想要用来远程打打游戏,上游戏做一下日常签到之类的任务,普通的远控软件的配置却无法匹配,不是画质不够高清,就是延迟太高画面卡顿容易掉线。 这时候还是需要专业选手上场,比如ToDesk远程控制的游戏版。小社长使用了一段…

掀起云端革命!ToDesk云电脑与传统PC电脑的差异分析

在科技日新月异的今天,传统PC电脑的市场地位正悄然发生变化。随着云计算技术的不断成熟与普及,云电脑逐渐走进大众视野,不同于传统PC电脑的高昂的成本和易退化的硬件性能,云电脑正以其轻成本高性能的优势吸引来越来越多的用户。其中ToDesk云电脑的推出更是掀起了云端革命的…

浏览器标签页多行显示:使用Floorp浏览器 最先进的跨平台 Firefox 衍生品 开源之光

浏览器打开了很多标签页,查看需要滚动 这查找效率就不是O(1)了,比如在编辑器中标签页直接多行显示 找了解决方案 平常的主力浏览器是Firefox chrome safari firefox firefox之前有拓展Tab Mix可以用,现在弄得跟孙子似得,官方拓展不承认还要安装还要好的步骤,也没成功 还有…

怎么远程控制其他电脑手机?ToDesk轻松搞定!

远程控制电脑和手机一般是通过互联网或者局域网,将相隔两地的设备进行远控连接,主控设备可以操控被控设备的屏幕文件鼠标等等。 这种技术极大的方便了用户线上办公和日常生活,让用户可以在不同地点的电脑手机上进行远程办公、软件安装、故障排查等操作。本文小社长将介绍远程…

Linux三剑客之sed

工作原理sed是Stream Editor(流编辑器)的缩写,简称(行)流编辑器;用来处理文件的。首先sed读取文件中的一行内容,把其保存在一个临时内存空间中(也称为模式空间); 然后根据需求处理临时缓冲区中的行,完成后把该行发送到屏幕上; 默认不编辑源文件,只对模式空间做处理…

2024.7.28 模拟赛10

模拟赛 \(long\ long\ ago\)。。。 T1 Company Acquisitions 鞅的停时定理。 赛时应该不可做的吧。 手膜两组样例发现肯定不能用常规方法做。然后开始新科技。 势能函数!!! 设计一个势能函数去表示一种状态,这个势能函数要满足每操作一步势能减一,这样初势能减末势能就是期…

关于虚树

关于譃漱关于虚树 瞎扯 某些树上问题,给了巨多节点,而实际上它们之中只有小部分能做出贡献,其余都是些水军,为杀尽 OIers的脑细胞 做出努力 考虑重新种一棵树,浓缩信息,简化节点个数,于是产生了 虚树。 大概是长这个样子: 红色结点是我们选择的关键点,即能够做出贡献的…

OpenGauss部署案例之---OpenEuler 20.03部署OpenGauss企业版

OpenGauss、OpenEuler案例说明: 在OpenEuler20.03系统,x86架构下部署OpenGauss 5.0.1企业版单实例数据库。 **数据库版本: ** openGauss=# select version();version -------------------------------------------------------------------------------------------------…

预训练语言模型公平性-公平性度量、去偏方法

一、内在偏见与外在偏见  1、内在偏见:训练前数据集中存在的刻板印象; 2、外在偏见:用来衡量偏差如何在下游任务中传播。通常包括微调,然后评估其关于性别和种族等敏感属性的表现; 3、许多NLP应用程序对现有的语言模型进行了微调,这些模型将外在偏见和内在偏见交织在一…

航天科技 “小快轻准”解决方案助力中小企业数字化转型

数字化转型喊了很多年,中小企业为何对降本增效无动于衷?“数字化转型,是中小企业的必答题。” 但是面临动辄十几万甚至几十万上百万的改造成本,投入真金白银,存在回报期长,不确定性大的问题,所以成本受限成为一大绊脚石。除了资金问题,缺人缺技术缺数据也是转型的难点…

IntelliJ IDEA 2024.2 发布:Spring Data JPA即时查询、自动补全cron表达式

今早看到,IntelliJ IDEA 2024.2 发布的邮件提示,看了一眼这个版本更新的新特性真的太适合我了!也许这些能力对关注DD的小伙伴也有帮助,所以搞篇博客介绍和推荐一下。下面就来一起看看这个版本中推出的几个强大新特性。 Spring Data JPA 的即时查询 在2024.2 Ultimate版本中…