计算机视觉大项目(1)-水果分级系统-编程知识

项目来源：河北大学计算机视觉课程-杨老师.

一共有四个标题，本篇博客只完成前两问。

实验目的:

实验内容：

实验步骤：

1.水果图像的分割

>掩膜图像Mask 是什么？

>改进:去除反光部分的影响

2．目标的特征提取

>Canny算子？

>图像矩 Hu矩阵是什么？

实验目的:

1．掌握物体分类模型中的决策树模型和SVM模型；

3．掌握利用Matlab/Python进行物体分类的方法；

3．设计Matlab/Python程序，实现一个水果分级系统。

在本项目中，我选择Python。

实验内容：

1．对输入的水果图片进行分割，得到水果的目标图像。

2．设计特征提取方法，实现对水果目标的特征提取，产生特征向量；

3．利用得到的特征向量，设计决策树实现水果分级；

4．用带标签的特征集训练SVM，设计基于SVM的水果分级系统。

实验步骤：

1．水果图像的分割

设计合理的分割算法，实现对单个水果的分割；分割之前需要进行图像增强。

2．目标的特征提取

设计合理的特征提取方法，实现对水果目标的特征提取（如：颜色特征、形状特征、纹理特征等），产生特征向量；

注：是否需要进行特征选择，需根据实际情况做出选择。

根据当前水果目标的实际情况，给特征向量添加标签，以便产生训练样本集。

1.水果图像的分割

代码：

import cv2
import numpy as np#图像增强，调整alpha（对比度因子）和beta（亮度加成）来增强图像
def enhance_image(image, alpha, beta):"""alpha :对比度beta :亮度"""#np.clip确保像素值在0到255的范围内new_image = np.clip(alpha * image + beta, 0, 255)#将结果转换为8位无符号整数类型return new_image.astype(np.uint8)#图像分割函数，使用HSV颜色空间和颜色阈值来分割图像中的水果。
def segment_fruit(image):# BGR图像转换为HSV色彩空间# HSV色彩空间包含三个通道 Hue色调、饱和度Saturation、明度Valuehsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)# 设置苹果颜色的HSV阈值范围来检测苹果的颜色，范围可调整# 第一组为检测较浅的红色或橙色lower_red = np.array([0, 50, 50])upper_red = np.array([10, 255, 255])# 第二组为检测较深的红色lower_red2 = np.array([170, 50, 50])upper_red2 = np.array([180, 255, 255])# 创建颜色掩模，两个掩模分别表示图像中属于指定颜色范围的区域# mask是二值图像，保留白色像素，丢弃黑色像素mask1 = cv2.inRange(hsv_image, lower_red, upper_red)mask2 = cv2.inRange(hsv_image, lower_red2, upper_red2)# 合并红色区域的两个不同范围的掩模mask = mask1 + mask2# 二值掩模中，相加操作等同逻辑“或”操作# 只要任一掩模为白色（即值为255）,合并后的掩模在该位置也为白色# 应用掩模获取最终结果result = cv2.bitwise_and(image, image, mask=mask)# bitwise_and()：将原始BGR图像与其自身进行按位与操作,使用合并后的掩模作为条件# 这样，只有掩模中为白色的区域（即检测到的颜色区域）会保留在结果图像中，其余区域将变为黑色。# 返回应用掩模后得到的图像,只包含检测到的颜色区域return result# 加载图像
image_path = 'apple.jpg'  #图片路径
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350))  # 调整图像大小# 图像增强
alpha = 1.5 #对比度
beta = 50   #亮度
enhanced_image = enhance_image(image,alpha,beta)# 图像分割
segmented_image = segment_fruit(enhanced_image)# 显示结果
cv2.imshow('Original Image', image)
cv2.imshow('Enhanced Image', enhanced_image)
cv2.imshow('Segmented Image', segmented_image)cv2.waitKey(0) #等待用户按键
cv2.destroyAllWindows() #关闭所有OpenCV窗口

运行结果:

观察结果，发现苹果图像被增强后，原本是红色的部分被反光成白面，反光面的颜色阈值超出了我们所设定的范围，这就导致在进行图像分割时，原本属于苹果的部分被掩膜图像覆盖掉，被丢弃了。

>掩膜图像Mask 是什么？

什么是图像中的掩膜(Mask)，如何使用掩码_图像掩膜-CSDN博客

推荐一篇很好的博客。

掩膜定义：掩膜通常是一个与原始图像大小相同的二值或布尔图像，选定的区域被标记为1（或True），其余区域被标记为0（或False）。

用途：当对图像应用一个操作时，掩膜可以用来限制这个操作只在图像的特定区域内发生，提取感兴趣区，感兴趣区内图像值保持不变，而区外图像值都为0。

实现方式：编程时，掩膜通常是一个数组或矩阵，其大小与原图像相同。使用掩膜时，只处理掩膜数组中值为1（或True）的对应像素，而忽略值为0（或False）的像素。

简单来说，掩膜实现了只关注感兴趣区域内的图像部分，需要的留下来(像素值非0)；不需要的就“丢弃”掉，像素值为0。所以掩膜图像一般呈现黑白色。

在代码中输出Mask图像:

>改进:去除反光部分的影响

以下是去除反光部分的一些方法：

图像预处理：
平滑处理：使用高斯模糊或其他平滑滤波器来减少图像中的噪声和细节，有助于减少反光造成的边缘效应。
直方图均衡化：增强图像的对比度，使得反光区域和水果其他部分的对比度更加明显。
色彩空间转换：将图像从RGB色彩空间转换到HSV、Lab或其他色彩空间，以便更好地分离颜色和亮度信息。在HSV色彩空间中，可调整V（亮度）通道以减少反光的影响。
反光区域检测：
阈值处理：根据亮度或色彩差异，通过设定阈值来检测并标记反光区域。
形态学操作：使用膨胀、腐蚀等形态学操作来增强或消除反光区域的特征。
边缘检测：利用反光区域通常具有较明显的边缘特征，通过边缘检测算法来识别反光区域。
反光区域修复：
插值：在检测到反光区域后，可以使用周围像素的插值来替换或修复这些区域。
区域填充：如果反光区域是连续的，可以使用区域填充算法来填充这些区域，并用周围像素的平均值或其他方法来替代。
图像修复技术：使用更高级的图像修复技术，如基于样本的图像修复或深度学习方法，来修复反光区域。
特征提取和分割：
使用颜色、纹理和形状特征：提取用于分割的特征时，考虑使用颜色、纹理和形状等多种特征，以更好地描述水果和反光区域的差异。
深度学习：使用深度学习技术训练模型，该模型能够识别并分割水果图像中的反光区域，需大量的标记数据来训练模型。
后处理：
优化分割结果：使用形态学操作、阈值处理或其他技术来优化分割结果，以减少反光区域对分割结果的影响。
人工检查：对于重要的应用或需要高精度分割的场景，可以引入人工检查步骤来验证和校正分割结果。

我的方法：尝试调整HSV色彩空间中的参数，降低对比度alpha和亮度beta参数的值:

运行一遍，效果好很多，反光部位大部分被检测到了：

2．目标的特征提取

选取一张苹果图片，对它进行颜色特征和形状特征的提取，并且生成特征向量，并添加标签。

代码：

import cv2# 提取图像的颜色特征，使用颜色直方图。
def extract_color_features(image):# 计算三个颜色通道的直方图并将其展平color_features = []#遍历图像的BGR三个颜色通道（蓝、绿、红）for i in range(3):  # BGR三个通道# cv2.calcHist函数计算颜色直方图# 直方图的bin数量为256（像素值范围0-255），且范围是[0, 256]hist = cv2.calcHist([image], [i], None, [256], [0, 256])#将计算得到的每个通道的直方图展平 二维 -> 一维  ，添加到color_features中color_features.extend(hist.flatten())#查看hist的类型，为一维列表#print('hist type:',type(hist))# 返回包含颜色通道直方图的color_features列表return color_features# 提取图像的形状特征，使用Canny边缘检测和Hu矩。
def extract_shape_features(image):# 使用Canny算法检测边缘，100和200是Canny算法中的双阈值，用于确定哪些边缘应被保留edges = cv2.Canny(image, 100, 200)# cv2.moments计算边缘图像的空间矩,述了边缘图像的形状特性moments = cv2.moments(edges) # 使用Hu矩提取形状特征# cv2.HuMoments从空间矩中计算Hu矩# Hu矩是一组七个数值，它们对于图像的缩放、旋转和平移是不变的，常用于形状识别hu_moments = cv2.HuMoments(moments).flatten()return hu_moments.tolist() #计算得到的Hu矩展平并转换为列表 并返回#  生成特征向量并添加标签。
def create_feature_vector(image, label):color_features = extract_color_features(image) # 颜色特征shape_features = extract_shape_features(image) # 形状特征#查看一下颜色特征和形状特征的长度print("color_features size:", len(color_features))print("shape_features size:", len(shape_features))feature_vector = color_features + shape_featuresfeature_vector.append(label)  # 添加标签return feature_vector# 加载图像
image_path = 'apple.jpg'
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350))  # 调整图像大小# 生成特征向量
label = 1  # 添加标签
feature_vector = create_feature_vector(image, label)# 输出特征向量
print("Feature vector size:", len(feature_vector))
print("Sample of feature vector:", feature_vector[:10])  # 展示部分特征向量

运行结果，结果展示了所提取出的颜色特征和形状特征向量的长度(一维)，以及部分特征总向量，同时对所读取的图片添加了标签lable：

>Canny算子？

数字图像处理(20): 边缘检测算子(Canny算子)_canny算子公式-CSDN博客

在网上偶然看到了以为大牛的代码，展现了Canny算子对于图像处理的效果，同时也对图像进行了高斯去噪：

import cv2
import matplotlib.pyplot as plt# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']# 读取图像
img = cv2.imread('apple.jpg')
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 转成RGB 方便后面显示grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 灰度处理
gaussianBlur = cv2.GaussianBlur(grayImage, (3, 3), 0) # 高斯滤波# 阈值处理
ret, binary = cv2.threshold(gaussianBlur, 127, 255, cv2.THRESH_BINARY)# Canny算子
Canny = cv2.Canny(gaussianBlur, 50, 150)'''
# Roberts算子
kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
kernely = np.array([[0, -1], [1, 0]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)# Prewitt算子
kernelx = np.array([[1, 1, 1], [0, 0, 0], [-1, -1, -1]], dtype=int)
kernely = np.array([[-1, 0, 1], [-1, 0, 1], [-1, 0, 1]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Prewitt = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)# Sobel算子
x = cv2.Sobel(binary, cv2.CV_16S, 1, 0)
y = cv2.Sobel(binary, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)# Laplacian算子
dst = cv2.Laplacian(binary, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)
'''#显示图形
plt.subplot(131), plt.imshow(img_RGB), plt.title('原始图像'), plt.axis('off')  # 坐标轴关闭
plt.subplot(132), plt.imshow(gaussianBlur),plt.title('高斯滤波后图像'),plt.axis('off')
plt.subplot(133), plt.imshow(Canny, cmap=plt.cm.gray), plt.title('Canny算子'), plt.axis('off')
plt.show()

运行结果，可以看到图像在进行高斯滤波后和Canny边缘检测后的效果：

>图像矩 Hu矩阵是什么？

图像矩（Hu矩）简介-CSDN博客

图像或轮廓的Hu矩的定义、优缺点、适用范围,并利用OpenCV的函数HuMoments()和matchShapes()实现Hu矩的计算和轮廓匹配-CSDN博客

图像的hu矩是一种具有平移、旋转和尺度不变性的图像特征。因此在图像具有旋转和放缩的情况下Hu矩具有更广泛的应用领域。

各阶矩的物理意义：

普通矩：
0阶矩（m00）:目标区域的质量
1阶矩（m01,m10）：目标区域的质心
2阶矩（m02,m11,m20）：目标区域的旋转半径
3阶矩（m03,m12,m21,m30）：目标区域的方位和斜度，反应目标的扭曲

但是目标区域往往伴随着空间变换（平移，尺度，旋转），所以需要在普通矩的基础上构造出具备不变性的矩组—hu矩。

接下来的实验步骤，需要对水果图像数据集进行分级，如根据水果的大小分为4级，可以使用决策树、SVM、神经网络等机器学习分类算法。下一章博客再更新。