ISP基础概述-编程知识

原文来自ISP 和摄像头基本知识

本文主要介绍ISP，以供读者能够理解该技术的定义、原理、应用。

🎬个人简介：一个全栈工程师的升级之路！
📋个人专栏：计算机杂记
🎀CSDN主页发狂的小花
🌄人生秘诀：学习的本质就是极致重复!

Camear的基本知识

摄像头结构

摄像头模组的种类

摄像头的工作原理

Sensor的基本知识

Sensor的工作原理

Sensor 的分类

Sensor的封装形式

常用的Sensor的厂商

Sensor 的基本框图

ISP 的基本知识

ISP的定义

ISP的工作原理

ISP 图像处理算法

AE ( Automatic Exposure )

HDR ( High-Dynamic Range Imaging ) 高动态范围成像

AWB ( Auto White Balance ) 自动白平衡

CCM ( Color Correction Matrix ) 颜色校正

DNS ( Denoise ) 去噪

BLC ( Black Level Correction ) 黑电平校正

LSC ( Lens Shade Correction ) 镜头阴影校正

Camear的基本知识

摄像头结构

常用的结构如下图所示，主要包括镜头，基座，传感器以及PCB部分。

摄像头模组的种类

CCM分为4种：FF、MF、AF和ZOOM。FF（Fix Focus），定焦摄像头，是国内目前用的最多摄像头，用于30万和130万的手机产品。MF（Micro Focus），两档变焦摄像头，主要用于近景拍照，如带有名片识别以及条形码识别的手机上，用于130万和200万的手机产品。AF（Auto Focus），自动变焦摄像头，主要用于高像素手机，同时具有MF的功能，用于200万和300万的手机产品。Zoom（Auto Zoom），自动数码变焦摄像头，主要用于相机手机，类似于相机影像的品质，用于300万以上的手机产品。

摄像头的工作原理

景物(SCE)通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过I/O接口传输到CPU中处理，通过DISPLAY就可以看到图像了。

Sensor的基本知识

Sensor的工作原理

Lens的作用是滤去不可见光，让可见光进入，并投射到Sensor上。Sensor的工作原理：光照--〉电荷--〉弱电流--〉RGB数字信号波形--〉YUV数字信号信号

Sensor 的分类

元件类型不同分为：CCD 和CMOS。CCD（Charge Coupled Device，），一般是用于摄影摄像方面的高端技术元件。CCD的优点是灵敏度高，噪音小，信噪比大。但是生产工艺复杂、成本高、功耗高。CMOS（Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件）应用于较低影像品质的产品中。CMOS的优点是集成度高、功耗低(不到CCD的1/3)、成本低。但是噪音比较大、灵敏度较低。对于CMOS来说，具有便于大规模生产，且速度快、成本较低，将是数字相机关键器件的发展方向。CMOS感光器以已经有逐渐取代CCD感光器的趋势，并有希望在不久的将来成为主流的感光器。

Sensor的封装形式

Sensor的封装形式有两种：CSP和DICE。在模组厂商加工制造中，CSP所对应的制程是SMT，DICE所对应的制程是COB。

常用的Sensor的厂商

厂商有OmniVision、Siliconfile、Samsung 、SONY、Aptina等

Sensor 的基本框图

Sensor 的框图如图所示（以 OV2718 为例）：

ISP 的基本知识

ISP的定义

ISP (Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节。

ISP的工作原理

从 Sensor 端过来的图像是 Bayer 图像，经过黑电平补偿、镜头矫正、坏像素矫正、颜色插值、Bayer 噪声去除、白平衡、色彩矫正、Gamma 矫正、色彩空间转换（ RGB 转换为 YUV ）、在 YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出 YUV（或者 RGB ）格式的数据，再通过 I/O 接口传输到 CPU 中处理。（以 OV495 为例）

ISP 图像处理算法

AE ( Automatic Exposure )

自动曝光是指根据光线的强弱自动调整曝光量，防止曝光过度或者不足，在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮。

HDR ( High-Dynamic Range Imaging ) 高动态范围成像

Sensor的动态范围就是Sensor在一幅图像里能够同时体现高光和阴影部分内容的能力。在自然界的真实情况，有些场景的动态范围要大于100 dB，人眼的动态范围可以达到100dB。高动态范围成像的目的就是要正确地表示真实世界中的亮度范围。适合场景：比较适合在具有背光的高对比度场景下使用如：日落、室内窗户，这样能使明处的景物不致过曝，而使得暗处的景物不致欠曝。

AWB ( Auto White Balance ) 自动白平衡

白平衡就是针对不同光线条件下，通过找到图像中的白块，然后调整 R/G/B 的比例抵消偏色，把白色物体还原成白色物体，使其更接近人眼的视觉习惯。

CCM ( Color Correction Matrix ) 颜色校正

颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较，以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中，及可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正，以获得最接近于物体真实颜色的图像。

DNS ( Denoise ) 去噪

使用 CMOS Sensor 获取图像，光照程度和传感器问题是生成图像中大量噪声的主要因素。同时，当信号经过 ADC 时，又会引入其他一些噪声。这些噪声会使图像整体变得模糊，而且丢失很多细节，所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、高斯滤波

BLC ( Black Level Correction ) 黑电平校正

Black Level 是用来定义图像数据为 0 时对应的信号电平。由于暗电流的影响，传感器出来的实际原始数据并不是我们需要的黑平衡。为减少暗电流对图像信号的影响，采用的方法是从已获得的图像信号中减去参考暗电流信号。一般情况下,在传感器中，实际像素要比有效像素多,像素区头几行作为不感光区，用于自动黑电平校正,其平均值作为校正值，然后在下面区域的像素都减去此矫正值，那么就可以将黑电平矫正过来了。