图像去雨、去雪、去雾论文学习记录

All_in_One_Bad_Weather_Removal_Using_Architectural_Search

这篇论文发表于CVPR2020,提出一种可以应对多种恶劣天气的去噪模型,可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。
提出的问题:
当下的模型只能针对一种恶劣天气进行处理,无法适用于多种复杂恶劣天气
目前的去噪数据集都是人为制作的,与真实数据具有差异。
在这里插入图片描述

创新点1:多合一去噪模型

该方法整体结构如下图所示,其基于对抗神经网络模型进行设计,包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同,本文提出一种多合一去噪模型,可以同时完成去雨、去雪、去雾操作。

在这里插入图片描述
在生成器中,主要包含三个特征提取模块(雨雪雾 FE,Feature Exactor),一个特征选择模块(Feature Search)以及一个解码器模块(Decoder),判别器则进行判断生成的图像是否为真,并将结果返回到生成器,计算损失,并通过反向传播更新生成器中的参数。

生成器含有多个任务的编码器,每个编码器与特定的恶劣天气类型相关,通过神经架构搜索来优化从各个编码器中提取的图像特征,并将这些特征转换为干净的图像。即思路为:将含有雨雪雾的图像输入生成器,通过生成器中的编码器(FE)进行特征提取,将提取的特征通过神经架构搜索进行优化,选取好的特征信息,将提取的特征信息送入解码器生成干净图像,即完成去噪过程。

生成器模块

多个编码器,用于提取不同恶劣天气图像的干净特征,从而进行恢复,生成干净图像。
在这里插入图片描述

创新点2:Feature Search模块

神经架构查询实际是找到干净的特征,将干净的特征转换为干净的图像。

在这里插入图片描述

在这里插入图片描述
可以看到,FeatureSearch模块中除了常规的卷积操作外,还有残差连接,自注意力机制等。
常规的去雾、去霾模型定义如下:
在这里插入图片描述

也可以表示如下:通过1x1卷积来提取学习M,从而估计M,实现的操作如4.1所示。

在这里插入图片描述

创新点3:多类辅助判别器

基于生成对抗网络(GNN)的判别器通过训练来判断恢复图像效果(即判断生成的图像真实性),但其不提供错误信号,对于多合一模型而言,只知道真假是远远不够的,需要直到生成的图像类型,从而使编码器根据不同类型更新参数,因此提出多类辅助判别器,用于对图像进行分类,从而在反向传播判别损失时,只更新对应判别器的参数。

在这里插入图片描述

具体思路

雾霾图像建模

在这里插入图片描述

其中,I(x)为有雾图像,更具体的,I(x)是在位置x的雨图像,J(x)为观察目标反射光,即去雾后的图像,A为大气光系数,t(x)为大气透射率,t(x)= e^-βd(x),其中,d(x) 为场景深度图,β 为大气光散射系数。由公式(1)式可以清晰知道,只要求得 t(x) 和 A ,便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。

而含雨图像与含雾图像的物理模型极为相似,故可以定义为:

在这里插入图片描述
其中,Ri代表第 i 层的雨线。

雨水图像建模

在这里插入图片描述
其中I(x)是彩色雨滴图像,M(x)是二值图像掩膜。J(x)是背景图像,即干净图像,K是图像所带来的附着的雨滴,代表着模糊的影像形成光线反射的环境。

雪花图像建模

在这里插入图片描述
其中S表示雪花,z是二元掩模,表示雪的位置。

根据上面的物理模型公式可知,不同恶劣天气噪声图像定义是不同的,这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因,但根据公式我们也可以看到其内在联系,可以将恶劣天气噪声图像模型定义如下:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/69336.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DIP: NAS(Neural Architecture Search)论文阅读与总结(双份快乐)

文章地址: NAS-DIP: Learning Deep Image Prior with Neural Architecture SearchNeural Architecture Search for Deep Image Prior 参考博客:https://zhuanlan.zhihu.com/p/599390720 文章目录 NAS-DIP: Learning Deep Image Prior with Neural Architecture Search1. 方法…

【开发笔记】在Python中调用Docker,并运行SDK任务

目录 1 背景2 环境准备3 实现流程3.1 连接远程Docker3.1 创建容器3.2 解压SDK3.3 挂载容器卷3.4 运行任务3.5 判断任务状态3.6 容器的停止与销毁 4 可能遇到的问题 1 背景 使用Python,在远程Docker中创建一个容器,并在该容器中运行SDK任务 2 环境准备 …

Python中使用隧道爬虫ip提升数据爬取效率

作为专业爬虫程序员,我们经常面临需要爬取大量数据的任务。然而,有些网站可能会对频繁的请求进行限制,这就需要我们使用隧道爬虫ip来绕过这些限制,提高数据爬取效率。本文将分享如何在Python中使用隧道爬虫ip实现API请求与响应的技…

Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL

导航: 【Java笔记踩坑汇总】Java基础进阶JavaWebSSMSpringBoot瑞吉外卖SpringCloud黑马旅游谷粒商城学成在线MySQL高级篇设计模式面试题汇总源码_vincewm的博客-CSDN博客 目录 一、基本区别 1.1 基本特性 1.2 Oracle和MySQL如何做技术选型? 1.3 RDBM…

MQTT协议--技术文档--搭建mqtt服务器--《EMQX单体服务器部署》

产品概览 | EMQX 5.1 文档 什么是EMQX? EMQX 是一款开源 (opens new window)的大规模分布式 MQTT 消息服务器,功能丰富,专为物联网和实时通信应用而设计。EMQX 5.0 单集群支持 MQTT 并发连接数高达 1 亿条,单服务器的传输与处理…

读书笔记 |【项目思维与管理】➾ 顺势而动

读书笔记 |【项目思维与管理】➾ 顺势而动 一、企业步入“终结者时代”二、过去成功的经验也许是最可怕的三、做好非重复性的事四、适应客户是出发点五、向知识型企业转变六、速度是决胜条件 💖The Begin💖点点关注,收藏不迷路💖 …

React 之 Suspense和lazy

一. Suspense 参考链接&#xff1a;https://react.docschina.org/reference/react/Suspense suspense&#xff1a;n. 焦虑、悬念 <Suspense> 允许你显示一个退路方案&#xff08;fallback&#xff09;直到它的所有子组件完成加载。 <Suspense fallback{<Loadin…

在Centos环境中搭建Nginx环境

一、Nginx概念简介 Nginx是一个轻量级的高性能HTTP反向代理服务器&#xff0c;同时它也是一个通用类型的代理服务器&#xff0c;支持绝大部分协议&#xff0c;如TCP、UDP、SMTP、HTTPS等。 Nginx与redis相同&#xff0c;都是基于多路复用模型构建出的产物&#xff0c;因此它与R…

【linux】2 软件管理器yum和编辑器vim

目录 1. linux软件包管理器yum 1.1 什么是软件包 1.2 关于rzsz 1.3 注意事项 1.4 查看软件包 1.5 如何安装、卸载软件 1.6 centos 7设置成国内yum源 2. linux开发工具-Linux编辑器-vim使用 2.1 vim的基本概念 2.2 vim的基本操作 2.3 vim正常模式命令集 2.4 vim末行…

Vue-8.集成(.editorconfig、.eslintrc.js、.prettierrc)

介绍 同时使用 .editorconfig、.prettierrc 和 .eslintrc.js 是很常见的做法&#xff0c;因为它们可以在不同层面上帮助确保代码的格式一致性和质量。这种组合可以在开发过程中提供全面的代码维护和质量保证。然而&#xff0c;这也可能增加一些复杂性&#xff0c;需要谨慎配置…

【算法题】螺旋矩阵II (求解n阶Z形矩阵)

一、问题的提出 n阶Z形矩阵的特点是按照之(Z)字形的方式排列元素。n阶Z形矩阵是指矩阵的大小为nn&#xff0c;其中n为正整数。 题目描述 一个 n 行 n 列的螺旋(Z形)矩阵如图1所示&#xff0c;观察并找出填数规律。 图1 7行7列和8行8列的螺旋(Z形)矩阵 现在给出矩阵大小 n&…

VUE+ElementUI的表单验证二选一必填项,并且满足条件后清除表单验证提示

上代码 <el-form-item label"出库单号" prop"ecode" ref"ecode" :rules"rules.ecode"><el-input v-model"queryParams.ecode" placeholder"出库单号和出库箱号至少填写一项" clearable style"width…