微光图像增强算法学习记录(一)

微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性,本文对阅读的文献进行记录和分享,帮助回顾和大家建立学习资料。

  • 文献一
    • 摘要及前沿摘选
    • 主要贡献
    • 网络结构
    • 实验
    • 结论
  • 文献二
    • 摘要
  • 文献三
    • 摘要
    • 主要贡献
    • 网络架构
    • 实验
  • 文献四
    • 摘要
    • 实验

文献一

在这里插入图片描述

摘要及前沿摘选

在这里插入图片描述
论文翻译:
当一个人在弱光条件下拍摄图像时,图像往往能见度低。除了降低图像的视觉美感外,这种低质量还可能显著降低许多主要为高质量输入而设计的计算机视觉和多媒体算法的性能。在本文中,我们提出了一种简单而有效的微光图像增强(LIME)方法。更具体地说,首先通过找到R、G和B通道中的最大值来单独估计每个像素的照度。此外,我们通过在初始照明图上施加结构先验来细化初始照明图,作为最终照明图。具有构造良好的照明图,可以相应地实现增强。在许多具有挑战性的微光图像上进行的实验揭示了我们的LIME的功效,并表明其在增强质量和效率方面优于现有技术。

在这里插入图片描述
论文翻译:
此外,变分方法旨在通过在直方图上施加不同的正则化项来提高HE性能。例如,上下文和变分对比度增强(CVC)[6]试图找到一种关注大灰度差异的直方图映射,而工作[7]通过寻求2D直方图(LDR)的分层差异表示来实现改进。然而,在自然界中,它们专注于对比度增强,而不是利用真实的照明原因,存在增强过度和不足的风险。另一种解决方案是伽玛校正,它是对图像的非线性操作。主要缺点是,伽玛校正的非线性操作是在不考虑某个像素与其邻居的关系的情况下对每个像素单独执行的,因此可能会使增强的结果变得脆弱,并且在视觉上与真实场景不一致。
在这里插入图片描述
论文翻译:
在Retinex理论[8]中,主要的假设是(彩色)图像可以分解为两个因素,比如反射率和照明。基于Retinex的早期尝试,如单尺度Retinex(SSR)[9]和多尺度Retineex(MSR)[10],将反射率视为最终增强结果,这通常看起来不自然,并且经常看起来过度增强。[11]中提出的方法试图在保持照明自然度的同时增强对比度。尽管它防止了结果的过度增强,但在我们的实验中,它在效率和视觉质量方面都不如我们的方法令人印象深刻。傅等人提出了一种通过融合初始估计的照度图(MF)的多个导数来调整照度的方法[12]。MF的性能大部分是有希望的。但是,由于光照结构的盲目性,MF可能会失去纹理丰富区域的真实感。[13]的最新工作提出了一种用于同时反射率和光照估计(SRIE)的加权变分模型。利用估计的反射率和照度,可以通过操纵照度来增强目标图像。如[14]所示,倒置的微光图像看起来像雾度图像,如图2所示。基于这一观察结果,[14]的作者对倒置的微光图像进行了除雾处理。在去雾之后,所获得的不真实图像被再次反转,作为最终的增强结果。最近,李等人遵循这一技术路线,通过首先对输入图像进行过度分割,然后自适应地对不同的片段进行去噪,进一步提高了视觉质量[15]。尽管上述类似除雾的方法可以提供合理的结果,但它们所依赖的基本模型缺乏物理解释。相比之下,我们的方法具有清晰的物理直觉。
在这里插入图片描述

主要贡献

在这里插入图片描述
论文翻译:
我们的方法属于基于Retinex的类别,旨在通过估计其照明图来增强微光图像。值得注意的是,与[13]等将图像分解为反射率和照明分量的传统基于Retinex的方法不同,我们的方法只估计一个因素,比如照明,这缩小了解决方案空间,降低了计算成本,以达到所需结果。首先通过找到R、G和B通道中每个像素的最大强度来构建照明图。然后,我们利用照明的结构来细化照明图。给出了一种基于增广拉格朗日乘子(ALM)的算法来精确求解精化问题,同时设计了另一个加速求解器来大大减少计算量。在许多具有挑战性的图像上进行了实验,以揭示我们的方法与其他最先进的方法相比的优势。

网络结构

在这里插入图片描述
在这里插入图片描述
不使用全局的最大R、G、B三通道的值,而是使用每个像素点的RGB的最大值,有助于确保恢复不饱和
目标是非均匀地增强低光图像的照明,而不是消除光源引起的颜色偏移

在这里插入图片描述
另一个广泛使用的模型是基于观察到的倒置微光图像1−L看起来与雾度图像相似,因此表示为公式(4)。
其中a表示全球大气光。尽管倒置微光图像1−L的视觉效果在直觉上与雾度图像相似,但与模型(1)相比,上述的物理意义仍然模糊。下面我们将展示(4)和(1)之间的关系。
在这里插入图片描述
之前的方法大多关注于邻域像素,
在这里插入图片描述
如何使目标函数公式(8)最小,作者给出了相应的方案。如下方的伪代码。
在这里插入图片描述
然后就是如何加速上面的迭代求解过程。
最后是算法的整体流程。
在这里插入图片描述

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结论

在这里插入图片描述
翻译
在本文中,我们提出了一种高效、有效的方法来增强微光图像。微光增强的关键是照明图的估计效果。已经开发了结构感知平滑模型来提高照明一致性。我们设计了两种算法:一种可以获得目标问题的精确最优解,另一种可以交替求解近似问题,显著节省时间。此外,我们的模型对不同的(结构)加权策略是通用的。实验结果表明,与几种最先进的替代方案相比,我们的方法是先进的。值得肯定的是,我们的微光图像增强技术可以为许多基于视觉的应用提供高可见性输入,如边缘检测、特征匹配、对象识别和跟踪,从而提高其性能。

文献二

摘要

Yang, ** Nie. “Reference-free low-light image enhancement by associating hierarchical wavelet representations.” Expert Systems with Applications 213 (2023): 118920.
在这里插入图片描述
翻译
对于计算机视觉和图像内容理解来说,微光图像由于其对比度和光照差而成为一个明显的挑战。因此,微光图像增强(LLIE)技术引起了人们的极大关注。然而,现有的基于深度学习技术的LLIE方法大多依赖于参考图像来指导监督训练。在真实世界的场景中捕获参考图像是非常困难的。为了弥补这一点,我们提出了一种无参考的低光增强框架,通过小波分解和关联估计像素曲线。典型的LLIE方法大致在RGB图像上应用照明调整。与此相反,我们重新审视了当前的LLIE管道,并通过提取和关联频率先验提出了一个细粒度的图像增强框架。首先,利用小波变换将图像分解到频域。然后,利用层次小波分解实现了跳频信息的传递。最后,在小波频率之间具有一致关联的情况下,应用无参考损耗函数。这些损失用于指导细粒度的无参考LLIE范式。我们通过综合实验验证了我们的方法,并证明我们的模型在定量指标和视觉感知方面优于其他相关方法。

文献三

Liu, Yunlong, et al. “Low-Light Image Enhancement with Multi-stage Residue Quantization and Brightness-aware Attention.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.
在这里插入图片描述
在这里插入图片描述

摘要

在这里插入图片描述
在这里插入图片描述

翻译:

微光图像增强(LLIE)旨在恢复照明并提高微光图像的可见性。传统的LLIE方法往往产生较差的结果,因为它们忽略了噪声干扰的影响。基于深度学习的LLIE方法专注于学习弱光图像和正常光图像之间的映射函数,该函数优于传统的LLIE算法。然而,大多数基于深度学习的LLIE方法还不能完全利用训练数据集中正常光图像提供的辅助先验的指导。在本文中,我们提出了一种基于亮度感知注意力和残差量化码本的具有正常光先验的亮度感知网络。为了实现更自然、更逼真的增强,我们设计了一个查询模块来获得更可靠的正常光特征,并通过融合分支将其与低光特征融合。此外,我们提出了一个亮度感知注意力模块,以进一步提高网络对亮度的鲁棒性。对真实捕获数据和合成数据的大量实验结果表明,我们的方法优于现有的最先进方法。

主要贡献

在这里插入图片描述
翻译:
提出了一种新的基于VQ-VAE的三阶段框架微光图像增强方法。据我们所知,我们提出的方法是第一种基于VQ的LLIE方法。
(1)通过残差量化构建了一个更具层次性和表达力的码本。此外,我们还设计了一个查询模块来弥合弱光特征和普通光码本之间的差距。
(2)为了避免下采样操作丢失图像细节,我们提出了一种融合低光特征和不同尺度的正常光先验的融合分支。
(3)设计了一个亮度感知注意力模块,该模块学习亮度图来调制特征,以提高网络对亮度的鲁棒性。
(4)在几个流行数据集上的大量实验结果表明,我们提出的方法优于现有的几种最先进的LLIE方法。

网络架构

在这里插入图片描述
在这里插入图片描述
翻译:
第一阶段I:阶段I的网络包含正常光编码器EN、具有码本C的残差量化(RQ)模块和正常光解码器DN。学习一个有表现力的码本C和一个精确的解码器DN是阶段I的核心。更多细节将在第3.2节中描述。
•第二阶段:在第二阶段,我们建议学习一个查询模块Q,并根据微光编码器EL和学习的查询Q的特征之间的相似性来选择码本项目。编码器EL和查询Q的参数需要训练,而在第一阶段学习的码本C和解码器DN是固定的。更多细节将在第3.3节中描述。
•第三阶段:在第三阶段,我们提出了一个融合分支来融合预训练编码器EL和解码器DN的特征。这样,它可以进一步保护更有价值的细节,并获得比第二阶段更好的性能。更多细节将在第3.4节中描述。

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文献四

在这里插入图片描述

摘要

在这里插入图片描述

实验

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/562738.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++一维数组练习oj(2)

这时上次的C一维数组练习:C一维数组练习oj-CSDN博客 这到题目我承认非常难!当然这只是我认为,因为我只学到了一维数组! 对于你们来说可能不难。 好了我不客套了。 这题我们可以将他理解为一条时间轴: 时间轴上小李每1…

分布式搜索引擎ES-RestClient查询文档快速入门

RestClient查询文档快速入门 文章目录 RestClient查询文档快速入门1.1、match_all1.2、全文检索查询1.3、精确查询1.4、复合查询-boolean query1.5、排序和分页1.6、高亮(解析查询高亮结果) 1.1、match_all package cn.mannor.hotel;import org.apache.…

深度学习pytorch——多层感知机反向传播(持续更新)

在讲解多层感知机反向传播之前,先来回顾一下多输出感知机的问题,下图是一个多输出感知机模型: 课时44 反向传播算法-1_哔哩哔哩_bilibili 根据上一次的分析深度学习pytorch——感知机(Perceptron)(持续更新…

基于python+vue的街道办管理系统flask-django-php-nodejs

在此基础上,结合现有街道办管理体系的特点,运用新技术,构建了以 python为基础的街道办管理信息化管理体系。首先,以需求为依据,根据需求分析结果进行了系统的设计,并将其划分为管理员和用户二种角色和多个主…

分布式搜索引擎-DSL查询文档

分布式搜索引擎-DSL查询文档 文章目录 分布式搜索引擎-DSL查询文档1、DSL Query的分类1.1、全文检索查询1.2、精确查询1.3、地理查询1.4、复合查询1.5、Function Score Query1.6、复合查询Boolean Query 2、搜索结果处理2.1、排序2.2、分页2.3、深度分页2.4、高亮 1、DSL Query…

Fabric Measurement

Fabric Measurement 布料测量

SpringBoot 文件上传(二)

上一节讲解了如何利用MultipartFile接收浏览器端上传的文件,这节讲解服务器端如何将文件保存到本地目录下,下节讲解服务端如何将文件保存在阿里云上。 本节需要解决两个难点: 文件重名问题文件大小限制问题 存储文件 首先解决如何存储文件…

【Qt】使用Qt实现Web服务器(七):动态模板引擎

1、示例 2、源码 2.1 模板配置参数 配置文件中关于模板配置参数如下 path为存放模板的目录suffix为模板文件后缀[templates] path=templates suffix=.tpl encoding=UTF-8 cacheSize=1000000

案例实践 | 基于长安链的煤质检测智慧实验室

案例名称-煤质检测智慧实验室 ■ 建设单位 国能数智科技开发(北京)有限公司 ■ 用户群体 煤炭生产单位、电力单位、化工单位等产业链上下游单位 ■ 应用成效 化验效率提升50%,出验时间缩短40%,提高化验数据市场公信力 案例…

【漏洞复现】福建科立迅通信指挥调度平台pwd_update.php SQL注入漏洞 (CVE-2024-2621)

免责声明:文章来源互联网收集整理,请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该…

JavaEE-文件操作和IO

我们先来认识狭义上的⽂件(file)。针对硬盘这种持久化存储的I/O设备,当我们想要进⾏数据保存时,往往不是保存成⼀个整体,⽽是独⽴成⼀个个的单位进⾏保存,这个独⽴的单位就被抽象成⽂件的概念,就类似办公桌上的⼀份份真…

android.os.TransactionTooLargeException解决方案,Kotlin

android.os.TransactionTooLargeException解决方案,Kotlin 首先,特意制造一个让Android发生TransactionTooLargeException的场景,一个Activity启动另外一个Activity,在Intent的Bundle里面塞入一个大的ArrayList: import android.…