本章主要介绍图像处理中一个比较基础的操作:Canny边缘发现、轮廓发现 和 绘制轮廓。概念不难,主要是结合OpenCV 4.5+的API相关操作,为往下 "基于距离变换的分水岭图像分割" 做知识储备。
Canny边缘检测
在讲述轮廓之前,要花点时间学学边缘检测提取的一个著名算法——Canny边缘提取算法。该算法检测出边相对于其他边缘检测算法的效果显著不同就是,Canny 检测出的边是比较细且清晰。该算法相比之前学习的Sobel和Laplace而言,它是一个应用方法,是真正的做到“提取”边缘这个操作;而Sobel和Laplace只是提留在图像像素的集合中。
Canny 算法的边缘检测到提取,主要有如下几个步骤:
1、灰度化cvColor与高斯滤波GaussianBlur
将图像变为灰度图像,减少通道,高斯滤波的作用是平滑图像,减少噪声,不让Canny算法检测时,误认为是边缘,所以在一开始就使用这个高斯滤波来减少比较突出的地方,简单的来说就是过滤掉图像上不合适的地方。
2、计算图像的梯度和梯度方向Sobel/Scharr
图像的边缘是灰度值急剧变化的位置。比如在灰度图像中它只有明暗的变化,当某个地方的强度变化比较的剧烈,那么它就会形成一个边缘。明暗变化较大的地方,梯度变化也会很大。
3、非极大值抑制
这一步是要做什么的呢?经过上面的操作,我们只是对图像进行了一个增强,而并不是找到真正的边缘。而且经过1-2步骤发现的边缘是一个范围信号,但是边缘只能是一条或者一簇,所以我需要对非边缘的个体进行压制除掉?怎么做呢,就是在边缘的梯度方向上,不是给定的最大值的话,那就去掉不要。(如下图,左边是Sobel求梯度方向,右边是常用的抑制范围选取)
但是这个最大的阈值该如何设置?过高将许多原本是线的位置未设置,过低就会细碎边,我们希望效果是找到清晰、连续的边缘线。
4、双阈值筛选边缘连接
经过非极大值抑制后图像检测出边还是有许多灰色而且不算清晰。所以接下来设置双阈值,规定上下阈值,所谓双阈值就是有两个阈值分别是低阈值和高阈值。如果像素点灰度值是大于最大阈值就直接将其更新为 255 。如果像素点的灰度值小于最小阈值就将其灰度值更新为 0。如果像素点灰度值是处于最大阈值到最小阈值之间,就看其 8 邻域中是否有大于最大阈值的值,如果有也就将其归为 255,也可以取 8 领域的平均值。
Canny边缘检测算法基本上就是经过以上的步骤。OpenCV有对应优化的Canny方法,一起看看如何使用,往下在学发现轮廓的时候就要用到。
CV_EXPORTS_W void Canny(InputArray image, // 8-bit输入图像OutputArray edges, // 输出的边缘图像,一般都是二值图像,背景是黑色double threshold1, // 低阈值,常取高阈值的1/2或者1/3 double threshold2, // 高阈值int apertureSize = 3, // Sobel算子的size,取值3代表是3x3bool L2gradient = false // 选择true用L2=sqrt{(dI/dx)^2 + (dI/dy)^2}求梯度方向,// 默认false用L1=|dI/dx|+|dI/dy|计算
);
轮廓(contour)
- 轮廓发现是基于图像边缘提取的基础上,寻找对象轮廓的方法。所以边缘提取的阈值选定会影响最终轮廓发现的结果
- API介绍:findContours发现轮廓 / drawContours绘制轮廓
有时候,轮廓和边缘的概念是非常相似的,在单一物体对象上表面的轮廓就相当于其边缘特征。但是多个物体对象叠加之后,轮廓和边缘就不再能这样相提并论了。(如上图示)
轮廓是在边缘的基础上,构成一张轮廓的拓扑图,然后利用不同的拓扑算法去寻找和构建轮廓。所以边缘提取的阈值选定会影响最终轮廓发现的结果。
说完边缘与轮廓的关系与区别之后。那么在OpenCV中,轮廓的发现绘制与绘制要如何实现呢?
- 输入图像转为灰度图像cvtColor
- 使用Canny进行边缘提取,转化二值图像
- 使用findContours发现轮廓
- 使用drawContours绘制轮廓
这里先介绍cv::findCountours 和 cv::drawContours这两个api
CV_EXPORTS_W void findContours(InputArray image, // 输入图像,二值图,一般就是Canny的输出,8-bitOutputArrayOfArrays contours, // 全部发现的轮廓对象,就是一个二维数组,图结构,往下细说OutputArray hierarchy, // 轮廓图的拓扑结构,可选输出,最终的轮廓发现就是基于这个拓扑结构实现int mode, // 寻找轮廓的模式,一般返回RETR_TREE树模式int method, // 轮廓发现的方法,一般使用CHAIN_APPROX_SIMPLE简单方式Point offset = Point() // 轮廓像素偏移,默认(0,0)没偏移
);CV_EXPORTS_W void drawContours( InputOutputArray image, // 绘制的目标图像InputArrayOfArrays contours, // 全部轮廓对象,就是findContours的第二个输出参数int contourIdx, // 轮廓索引号,contours的第一维索引const Scalar& color, // 绘制颜色int thickness = 1, // 绘制线宽int lineType = LINE_8, // 绘制线类型InputArray hierarchy = noArray(), // 拓扑结构图,findContours的第三个可选输出参数int maxLevel = INT_MAX, // 最大层数,0只绘制当前的,1包含内部轮廓,2所有轮廓Point offset = Point() // 轮廓偏移
);
接着来一段案例代码,讲讲findContours的第二、第三参数如何理解。
int main()
{//读取测试图片src = imread("F:\\other\\learncv\\bottle.png");namedWindow(titleStr + "src", WINDOW_AUTOSIZE);imshow(titleStr + "src", src);//rgb转graycvtColor(src, gray, COLOR_BGR2GRAY);namedWindow(titleStr + "circles", WINDOW_AUTOSIZE);namedWindow(titleStr + "contours", WINDOW_AUTOSIZE);createTrackbar("边缘检测阈值", titleStr + "src", &threshold_value, threshold_max, Callback_Contours);waitKey(0);return 0;
}void Callback_Contours(int pos, void* userdata) {Mat canny_img;Canny(gray, canny_img, threshold_value, threshold_value * 2.0, 3, false);vector<vector<Point>> contours;vector<Vec4i> hierarchy;findContours(canny_img, contours, hierarchy, RETR_TREE, CHAIN_APPROX_SIMPLE, Point(0, 0));Mat dst1 = Mat::zeros(gray.size(), CV_8UC3);Mat dst2 = Mat::zeros(gray.size(), CV_8UC3);for (size_t i = 0; i < contours.size(); i++) {drawContours(dst1, contours, i, colorWhite, 1, LINE_8, hierarchy, 0, Point(0, 0));vector<Point> contourPoints = contours[i];for (size_t j = 0; j < contourPoints.size(); j++) {circle(dst2, contourPoints[j], 1, colorWhite);}}imshow(titleStr + "contours", dst1);imshow(titleStr + "circles", dst2);
}
以上代码运行的效果,Canny边缘阈值在100~200之间。 其中我把Canny的第二个输出参数contours也以点的方式绘制出来,对应的是图最左边,中间部分是drawContours绘制的轮廓,右边是原图。放大可以清楚观察到 “荷花” 二字上方,荷花瓣的位置,明显看出点的方式是断断续续的中间留有很大一部分的空白,而绘制轮廓后是能把它们连接成一条线。这是因为drawContours会根据contours二维数据的第一维去判断这些是不是属于同一线段。Debug调试就可以知道contours[i]的每一层长度都是不一样的。
至于第三个参数 hierarchy 轮廓拓扑关系,此参数输出的内容 与 第四个参数 mode 寻找轮廓的模式,有莫大的关系,详细看看查阅以下这个同学的详细分析。
(十二) findContours函数的hierarchy详解_findcontours hierarchy_恒友成的博客-CSDN博客获取对象的轮廓,一般最好先对图像进行灰度化再进行阈值处理,然后用来检测轮廓。_findcontours hierarchyhttps://blog.csdn.net/lx_ros/article/details/126258801
Ok,That’s All.