ISP图像处理Pipeline

参考：1. 键盘摄影(七)——深入理解图像信号处理器 ISP2. Understanding ISP Pipeline3. ISP图像处理流程介绍4. ISP系统综述5. ISP(图像信号处理)之——图像处理概述6. ISP 框架7. ISP(图像信号处理)算法概述、工作原理、架构、处理流程8. ISP全流程简介9. ISP流程介绍(Raw格式阶段)

ISP Pipeline流程如下：

ISP处于整个成像系统的中心地位。

ISP功能

器件控制

• 控制Sensor的Shutter(快门)、Gain(增益)
• 控制镜头变焦、聚焦
• 控控制镜头的光圈
• 控制滤光片的切换
• 补光灯控制

格式转换

• RAG转RGB
• RGB转YUV
• YUV转HSI
• YUV444转YUV420等

画质优化

• 原始图像修正(光通量不均匀、有畸变)
• 颜色管理
• 降噪
• 动态范围控制
• 清晰度、锐度提升
• 后处理
• 数字去抖
  下面左图是没有画质优化的，右图是经过ISP画质优化的。

ISP算法流程

• Horizontal Flip：做水平翻转

• Test Pattern：ISP内部产生测试图像，ISP内部调试使用

• Black Level Correction：黑电平矫正，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性(对暗处细节比较敏感，)所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5(非固定值)—255之间，然后传输在ISP端再做一个减法，将5(非固定值)变为0

• Bad Pixel Correction：坏点消除

• Lens Shadow Correction：镜头阴影矫正(镜头缺陷、光通量不均匀)

• AF Statistics in Raw：AF统计信息

• CFA Interpolation：去马赛克，将RAW转成RGB

• D65 White Balance：做标定，使得在D65下面，使得白色的物体呈现白色

• AWB Statistics：做完D65 White Balance后可以做AWB 统计信息

• AWB：AWB算法根据色温值做白平衡矫正

• CCM：3×3的颜色矩阵，目的是让成像系统颜色符合人眼睛看到的颜色。AWB已经将白色校准了，CCM就是用来校准白色除白色以外其他颜色的准确度的，用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考

• Gamma：Gamma矫正，原因是人眼睛的非线性特性，亮度发生变化时，人眼感受到的不是成倍的关系

• CSC：RGB到YUV色彩空间转换

• AE Statistics：AE统计信息

• 2DNR：空间域降噪

• 3DNR：时间域降噪

• AF Statistics in YUV：AF 统计信息

• Local Tone Mapping：图像每一个局部区域都足够清晰

• Sharpness：锐化让图像变得更清晰

• WDR：宽动态算法让图像的动态范围变得更大

• Post-Process：后处理

• LDC：镜头畸变矫正

• De-shaking：防抖

下期将逐模块详细介绍各个模块的功能，加油↖(^ω)↗