Learning Spatial and Spatio-Temporal Pixel

Learning Deformable Kernels for Image and Video Denoising

作者: Xiangyu Xu 商汤科技SenseTime Research

论文思想:一是将传统的双边滤波算法与CNN结合起来,二是用变形卷积来做多帧对齐的问题,三还是在raw上进行处理的。

主要贡献:

  1. 将传统降噪算法和变形卷积结合起来,使用变形卷积来显示学习传统算法中挑选和平均的过程。
  2. 将2D变形卷积扩展到了3D中,可以进一步地提升大幅运动的视频降噪的性能和减小artifact。还提出了3D变形卷积的正则项。
  3. 对于变形卷积是如何起作用给出了可视化的分析。
  • 利用基于聚合的方法和深度神经网络的优势,并提出一种新算法来显式学习图像去噪的像素聚合过程。

  • 将空间像素聚合扩展到时空域,以更好地处理视频去噪中的大运动,从而进一步减少伪影并提高性能。

  • 引入了一个正则化项来帮助训练视频去噪模型。在基准数据集上进行的大量实验表明,我们的方法在单个图像和视频输入上都优于最先进的方法。

摘要

  1. 现有去噪方法通过by selecting and averaging pixels恢复,本文建议使用NN,不依赖于手工制作和平均策略
  2. 本文提出 deformable 2D kernels for image denoising应用图像去噪,自适应图像结构,有效降低过度平滑和伪影
  3. 再提出3D deformable kernels for video denoising引用视频去噪,有效采用空间时间像素,解决大运动的misalignment问题
  4. 引入新的regularization termthe trilinear sampler进行训练视频去噪模型。

介绍

图像和视频捕获系统通常会因噪声(包括光子的散粒噪声和传感器的读取噪声)而退化 [1]。对于在弱光场景或小光圈手机摄像头拍摄的图像和视频,这个问题会更加严重。大多数去噪方法的成功源于这样一个事实,即对同一信号的多个独立观察进行平均会导致方差低于原始观察。在数学上,这被表述为:

image-20220318132735467

(1)现有的去噪算法 [2]-[4]、[6]、[7] 通常从输入图像中采样相似的像素,并通过加权平均对它们进行聚合。采样网格 N 和平均权重 F 通常是数据相关和空间变化的,因为相似像素的分布取决于局部图像结构。决定 N 和 F 的策略是区分不同去噪方法的关键因素。这些方法通常使hand-crafted schemes进行sample and weigh pixels,在复杂场景中并不总是表现良好,如图 1© 和 (h) 所示。

(2)基于CNN的方式被提出,其使用的是空间不变和数据独立的convolution kernels,然而去噪过程却是使用的空间变化和数据依赖的。因此,这些方法需要非常深的结构来实现高非线性以隐式逼近空间变化和数据相关的过程,这不如基于聚合的公式高效和简洁。此外,基于CNN 的方法没有明确地操纵输入像素来限制输出空间,并且可能会产生损坏的图像纹理和过度平滑的伪影,如图 1(d) 所示。

(3)因此,本文提出 a pixel aggregation network用于将像素聚合过程与数据驱动的图像去噪方法显式集成。

细节:使用 CNN 来估计噪声图像中每个位置的空间采样网格 N。为了聚合采样像素,我们预测每个样本的平均权重 F,最后,可以通过在端到端网络中将 F 和 N 与加权平均相结合来获得去噪输出。

优势:(1)聚合过程依赖于学习数据而不是手工制作(2)所提出的模型可以更好地适应图像结构并通过空间变化和数据相关的采样和平均策略保留细节。(3)直接过滤噪声输入,从而限制了输出空间(4)所提出的方法可以以动态方式对像素进行采样(不是通过卷积核这种位置固定等性质的刚性采样),以更好地适应图像结构并在不采样更多位置的情况下增加感受野。

(4)应用到视频:直接将2D pixel aggregation分别应用到每个帧,最后逐帧融合

——缺点:面对大规模运动不可靠;相邻帧之间几乎没有可靠的采样信息

——解决:为所输出的每个位置开发一个a spatio-temporal pixel aggregation network,用于自适应选择相邻帧中信息量最大的像素点。

——优势:能够解决由于动态场景引起的错位问题;减少伪影现象;

相关工作

1、图像和视频去噪

  • 基于像素聚合的显示或者隐式方法(在局部窗口进行采样像素块、计算平均权重后进行聚合),或者非局部均值方法(全局聚合)
  • 由于视频中的时间和空间信息,VBM3D/VBM4D等通过对相似像素进行分组,然后再聚合)流行
  • 基于深度学习:基于残差连接的CNN和循环神经网络RNN

2、突发去噪brust denoising

  • 现有方法其卷积核采用的多是精确的采样网格不能很好地利用局部图像结构

3、learning dynamic filtering

  • 多数方法只考虑来自固定区域的像素,这通常会导致感受野有限,并且很容易受到不相关的采样位置的影响。
  • 使用明确的权重方法,可能会产生过度平滑的伪影。类似于Gaussian filters

提出的方法

image-20220318142525018

We first train a deep CNN for estimating the offsets of the sampling grid.

Next, we sample pixels from the noisy input** according to the predicted offsets, and estimate the weights by concatenating the sampled pixels, the noisy input andthe features of the offset network.

Finally, we generate the denoised output by averaging the sampled pixels with the learned weights.

具体来说,我们使用神经网络来预测噪声输入的每个像素的采样位置 the sampling locations N 和平均权重 averaging weights F。这两个组件被集成用于空间和时空像素聚合。我们不是直接回归 N 的空间坐标the spatial coordinates ,而是学习刚性采样网格的偏移量offsets V 并相应地变形刚性网格。

简单的说:通过offset network 某个像素点 在其周围 信息量很大的位置 的偏移位置信息V,通过采样获取偏移的像素,将原图、偏移位置信息、偏移的像素同时输入,然后通过卷积层获得平均权重F,对采样的像素点进行平均学习输出。

A 学习聚合像素的过程(图像)

对于噪声图像来说X是其中一个像素,属于$ R^{h*w}$ h和w代表长和宽

聚合噪声表示为

image-20220319092021661

其中(u,v)表示其中一个输入去噪的像素,F表示平均像素的权重,N表示具有n个位置的采样网格。

image-20220319092304015

上图其视频序列中其中相邻三针,黄色框 为 下图待框选的 需要采样区域

上图蓝色区域表示使用a rigid sampling grid进行刚性采样:即网格区域固定,类似卷积核

仅使用此方式并且后续只学习平均权重,通常造成感受野有限,不能有效利用图像的结构信息

image-20220319092559026

本文提出pixel aggregation network (PAN) ,the adaptive sampling grid根据网络的预测偏移量V进行网格设计。

使用此方式,效果较好,比如点的区域在车头附近(黑影的左侧),这样能大概根据附近 自适应调节采样像素位置

  • 时空像素聚合

​ 所提出的方法可以很容易地扩展到视频去噪。假设我们有一个嘈杂的视频序列 {Xt−τ , . . . , Xt, . . . , Xt+τ },其中 Xt 是参考系。处理此输入的一种直接方法是将 PAN 模型分别应用于每个帧,然后将输出与加权和融合,如上图c。然而,这种简单的 2D 策略在处理大运动视频时无效因为在相邻帧的区域(例如图 4 中帧 Xt-1 和 Xt+1 的中心区域)几乎没有可靠的像素

​ 为了解决这个问题,我们需要在可靠性更高的帧(例如参考帧 Xt)上分配更多的采样位置,并避免出现剧烈运动的帧。一个有效的解决方案应该能够在输入视频的时空空间中搜索像素。

本文提出 a spatio-temporal pixel aggregation network (ST-PAN)用于视频去噪, adaptively selects the most informative pixels in the spatio-temporal space. (自适应地选择时空空间中信息量最大的像素)

image-20220319093349886

通过捕获 3D 位置之间的依赖关系并在更可靠的帧上进行采样可以解决 the large motion issues ,同时高效处理 reduce cluttered boundaries and ghosting artifacts generated by existing video denoising approaches [7], [9].

图片上的采样点不够(右侧),说明不仅在相邻两帧有采样,在其他帧中由于信息量更大, 也会采样部分信息点

  • Gamma correction 伽玛校正

由于噪声在 sRGB 空间 [33]、[34] 中是非线性的,我们在线性原始空间中训练去噪模型。使用线性输出 Y ,我们进行 Gamma 校正 5 以生成最终结果以获得更好的感知质量

B Network Architecture网络结构

image-20220319093903794

将单帧作为图像去噪的输入,将 2τ + 1 个相邻帧的序列用于视频去噪。如图 3(b) 所示,

采用了 U-Net 架构 [35],其中编码器将输入帧顺序转换为较低分辨率的特征嵌入,解码器相应地将特征扩展回全分辨率估计。我们使用编码器和解码器中相同分辨率层之间的跳跃连接执行逐像素求和,以共同使用低级和高级特征进行估计任务。由于预测的权重将应用于采样像素,因此将这些像素馈送到权重估计分支是有益的,这样权重可以更好地适应采样像素。因此,我们将来自偏移网络最后一层的采样像素、噪声输入和特征连接起来,并将它们馈送到三个卷积层以估计平均权重。设计细节参数看原文

C Loss Function 损失函数设计

use an L1 loss to train our network for single image denoising

image-20220319094148634

  • Regularization term for video denoising

由于 ST-PAN 模型对视频帧中的像素进行采样,因此训练过程可能会停留在local minimum 局部最小值,即所有样本位置仅位于参考帧周围。为了缓解这个问题并鼓励网络利用更多的时间信息,我们引入了一个正则化项,让subsets of the sampled pixels 采样像素的子集单独学习 3D 聚合过程。

将采样网格 进行分组,分成S组,每组N/s个组成,类似[6],可以参考考

实验

数据集

we collect 27 high-quality long videos from the Internet, We use 23 long videos for training and the other 4 for testing, we extract 20K sequences for training where each sequence consists of 2τ + 1 consecutive frames Similar to [9], we generate the noisy input for our models by performing inverse Gamma correction and adding signal dependent Gaussian noise

Training and Parameter Settings

训练一些参数的基本设置

合成数据集上的测试

我们在不同噪声水平的合成数据集上针对最先进的图像和视频去噪方法 [3]、[4]、[7]、[9]、[10] 评估所提出的算法。我们对 NLM [3]、BM3D [4] 和 VBM4D [7] 方法(包括盲模型和非盲模型)进行详尽的超参数微调,并选择最佳结果。同时为了比较,我们使用相同的设置在我们的数据集上训练 KPN [9] 和 DnCNN [10] 方法。虽然 KPN [9] 方案最初是为多帧输入设计的,但我们通过改变网络输入将其调整为单幅图像以进行更全面的评估。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tiSsPDBW-1689334096676)(C:/Users/dell/AppData/Roaming/Typora/typora-user-images/image-20220319095027284.png)]

image-20220319095132720

Homoscedastic Gaussian Noise 评估

虽然现实世界中的噪声主要是信号相关和异方差的 [1]、[13]、[53],但现有方法通常在同方差高斯上评估其去噪算法噪声 [10]、[12]、[42]、[45]–[49]、[52]。为了进行更全面的研究,我们在具有同方差高斯噪声的图像和视频去噪数据集上评估了所提出的 PAN 和 ST-PAN 模型image-20220319095319726

image-20220319095338302

时间一致性验证Temporal Consistency

image-20220319095356410

视频去噪算法通常希望生成时间一致的视频帧。在图 7 中,我们展示了一些视频去噪结果,用于评估所提出模型的时间一致性。具体来说,我们通过 60 个连续帧收集由垂直红线(如图 7(a) 所示)突出显示的 1D 样本,并将这些 1D 样本连接成 2D 图像以表示去噪视频的时间分布。与基线方法的结果(图 7(c)和(d))相比,所提出的 ST-PAN 模型(图 7(e))的时间分布具有更平滑的结构和更少的抖动伪影,这表明更好的时间一致性我们的模型。

真实输出结果比较

image-20220319095510959

讨论和分析

样本连接成 2D 图像以表示去噪视频的时间分布。与基线方法的结果(图 7(c)和(d))相比,所提出的 ST-PAN 模型(图 7(e))的时间分布具有更平滑的结构和更少的抖动伪影,这表明更好的时间一致性我们的模型。

真实输出结果比较

image-20220319095510959

讨论和分析

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/22886.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Zookeeper集群 + Kafka集群 + Filebeat + ELK

目录 一:Zookeeper 概述 1、Zookeeper 定义 2、Zookeeper 工作机制 3、Zookeeper 特点 4、 Zookeeper 数据结构 5、 Zookeeper 应用场景 6、 Zookeeper 选举机制 (1)第一次启动选举机制 (2)非第一次启动选举机制…

JMeter 如何模拟不同的网络速度

目录 前言: 限制输出带宽以模拟不同的网络速度 将这两行添加到user.properties文件中(可以在JMeter安装的bin文件夹中找到此行) 通过-J 命令行参数传递属性的值,如下所示: 前言: JMeter可以通过使用不同…

【mysql】—— 数据库的操作

序言: 在上篇文章我已经对数据库进行了详细的介绍,接下来我们就将上手学习操作的细节了。本篇文章便带领大家去学习有关库操作的基本知识!!! 目录 (一)库的操作 1、 创建数据库 2、字符集和…

【深度学习笔记】训练 / 验证 / 测试集

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下: 神经网络和…

基于物联网技术的养老院管理系统设计与实现_kai

基于物联网技术的养老院管理系统设计与 实现 摘 要 随着我国老年人口数量的逐年增加,人口抚养比也在迅速攀升,越来越多的老年人将走 出家门进入养老院安度自己的晚年。同时国家和地方也相继出台了加快发展老龄事业的政策 方针,作为机构养老…

第三方api对接怎么做?淘宝1688api接口怎么对接?

在今天的互联网上,第三方API对接是必不可少的。这种技术将不同的应用程序/服务连接在一起,创造了无限的可能性。 第三方api对接怎么做? 1、与支付公司签约 首先,通过正规的渠道,如支付公司官网或正规服务商&#xf…

如何让Stable Diffusion正确画手(1)-通过embedding模型优化图片质量

都说AI画手画不好手, 看这些是我用stable diffusion生成的图片,小姐姐都很漂亮,但手都千奇百怪,破坏了图片的美感。 其实只需要一个提示词,就能生成正确的手部,看这是我重新生成的效果,每一个小…

1、网络基础

网络发展背景、IP、端口、网络通信协议,TCP/IP五层模型、字节序 一、网络发展背景 局域网:网络覆盖在1000m以内的网络 城域网:网络覆盖在20km以内的网络 广域网:网络覆盖在20km以上的网络 因特网、互联网:更大的国…

基于单片机汽车防盗报警的设计与实现

功能介绍 以STM32单片机作为主控系统;LCD1602液晶显示当前温度信息和参数等功能;3个LED指示灯表示:震动指示灯、人体感应指示灯、防盗模式开启指示灯;按键用来开启防盗模式,设置温度上下限;开启防盗后检测到…

网络数据安全风险评估实施指引(二)

评估手段是多种多样的。信息安全风险评估可以用各种不同的方式识别资产脆弱性和攻击路径,数据安全风险评估也包含但不限于以下措施: 人员访谈:对相关人员进行访谈,核查制度规章、防护措施、安全责任落实情况; 文档查…

Unity游戏源码分享-Unity手游火柴忍者游戏StickmanDojo

Unity游戏源码分享-Unity手游火柴忍者游戏StickmanDojo 项目地址:https://download.csdn.net/download/Highning0007/88050234

Redis字典

1.前言 我们回顾一下之前讲到的Redis的字典结构,示意图如下: Redis的字典本质上来说也是数组链表的数据结构,这与Java中HashMap的数据结构很类似。 由上述结构示意图也能看出,字典dict中维护了一个ht数组,而且只有两…