论文阅读：“基于快速特征点提取和描述算法与色调、饱和度和明度的图像特征点匹配算法”-编程知识

论文阅读：“基于快速特征点提取和描述算法与色调、饱和度和明度的图像特征点匹配算法”

文章目录

摘要
引言
方法
实验结果
- 图像预处理结果对比
- 图像配准结果对比
参考文献

摘要

提出了一种基于快速点特征提取和描述（ORB）算法与色调、饱和度和明度（HSV）的图像特征点匹配算法。首先利用双边滤波和均值滤波结合对图像进行预处理，然后使用 ORB 算法进行特征点提取；接着利用 K 维二叉树（K-D Tree）算法与汉明距离进行特征点粗匹配；再利用图像的 HSV 信息对匹配特征点对进行二次筛选。

实验结果表明，在图像进行预处理阶段，采用方差、Vollath、信息熵的加权平均作为评价指标，与原图、直方图均衡化、双边滤波结果相比，双边滤波和均值滤波结合得到的图像指标值最佳；在特征点匹配和图像拼接阶段，利用HSV 信息筛选后特征点匹配正确率提高了12. 60 个百分点，由此得到的图像拼接结果质量更好，其自然图像质量评价（NIQE）指数值更小。

引言

清晰度和视场是衡量图像信息质量的两大重要指标，高清晰度可以更清楚地获取观测目标的微观信息，大视场则可以获取周围环境的整体信息。图像拼接是实现大视场、高清晰度图像的重要手段，可以获得一幅涵盖子图共同信息的图片。图像拼接主要有三个阶段：

图像预处理：通常需要利用直方图均衡化或各种滤波算法对图像进行增强和降低噪声。
图像特征点提取：尺度不变特征变换（SIFT）、加速稳健性特征（SURF）、快速特征点提取和描述（ORB）等。
特征点匹配：通过引入一定的约束条件来提高匹配效率。

方法

算法流程如下图所示：

在这里插入图片描述
图像预处理主要是图像增强和去噪。图像增强的主要目的是抑制失焦模糊，尽量消除因拍摄角度不同出现的亮度差异，提高图像清晰度与对比度。图像去噪使特征点更容易获取。

传统的预处理方法主要是直方图均衡化或均值滤波。直方图均衡化可能会导致图像对比度过度增强；而均值滤波可能会导致图像的细节信息丢失。考虑到双边滤波可以对边缘进行增强，但会导致图像噪声加剧，以及均值滤波可有效抑制噪声但会导致图像的细节信息丢失的特性，因此这篇文章先利用双边滤波保留边缘信息、突出细节，再利用均值滤波去除噪声。

图像预处理后，利用 ORB 算法进行特征点提取和描述。任取图像中一点 $p$ ，以 3 pixel 为半径比较 $p$ 点与周围 16 个像素点的灰度值之差，若连续 $i$ （ $i$ 一般取 12）个点大于所设定的某一阈值 $t$ 则确定此点为所需特征点。

ORB 算法的特征点定位对上述方法进行改进，只取 1、5、9、13 这 4 个点的灰度值与阈值进行比较，3 个或以上满足则此点可取。特征点定位后，采用二进制稳健基元独立特征（rBRIEF）算法生成二进制描述子，并通过采用灰度质心法使所得的描述子具有方向不变性，赋予了ORB 算法方向不变性的特点。

接着，针对参考图像与待拼接图像进行特征点匹配。首先利用 K-D Tree 算法对数据点进行划分，顺着二叉树寻找临近搜索数据并遍历回溯路径，寻找有效特征。根据 K-D Tree 模型计算出邻近样本数据，对图像特征点进行初步匹配，然后利用特征点描述子的汉明距离来判断图像匹配的正确性，即判断两个等长字符串相对应的字符是否相同。

在此基础上，在 HSV 空间中对特征点对进行二次筛选，可以减少错误匹配特征点的数量。HSV 颜色空间是一种基于感知的颜色模型，可以更好地数字化处理。具体步骤为

将参考图像和待拼接图像转化到 HSV 空间，对粗匹配图像特征点的色调、饱和度、明度 3 个属性进行提取；
将 3 对数值分别做差，判断差值是否小于某一阈值；
若两对差值及以上符合要求则认为该匹配点正确，否则舍去；
重复上述步骤，遍历所有的待匹配点对，得到筛选后的匹配结果。

在此基础上，基于匹配点对的坐标信息，采用 RANSAC 算法计算出最佳变换矩阵 $\boldsymbol{M}$ ，进而将两幅待拼接图像关联起来，利用矩阵变换实现图像拼接。

RANSAC 算法可以进一步剔除错误点对，但是当错误匹配点对较多时会不停迭代，需要大量时间。 这篇文章在 K-D Tree 算法和汉明距离匹配的基础上，增加了 HSV 模型筛选，尽管在特征点匹配阶段增加了时间，但可以有效剔除错误匹配点，有效提高了图像拼接阶段RANSAC 算法的效率，整体效率上获得改善。