基于Android+OpenCV+CNN+Keras的智能手语数字实时翻译——深度学习算法应用(含Python、ipynb工程源码)+数据集(三)

目录

  • 前言
  • 总体设计
    • 系统整体结构图
    • 系统流程图
  • 运行环境
  • 模块实现
    • 1. 数据预处理
    • 2. 数据增强
    • 3. 模型构建
    • 4. 模型训练及保存
      • 1)模型训练
      • 2)模型保存
    • 5. 模型评估
  • 相关其它博客
  • 工程源代码下载
  • 其它资料下载


在这里插入图片描述

前言

本项目依赖于Keras深度学习模型,旨在对手语进行分类和实时识别。为了实现这一目标,项目结合了OpenCV库的相关算法,用于捕捉手部的位置,从而能够对视频流和图像中的手语进行实时识别。

首先,项目使用OpenCV库中的算法来捕捉视频流或图像中的手部位置。这可以涉及到肤色检测、运动检测或者手势检测等技术,以精确定位手语手势。

接下来,项目利用CNN深度学习模型,对捕捉到的手语进行分类,经过训练,能够将不同的手语手势识别为特定的类别或字符。

在实时识别过程中,视频流或图像中的手语手势会传递给CNN深度学习模型,模型会进行推断并将手势识别为相应的类别。这使得系统能够实时地识别手语手势并将其转化为文本或其他形式的输出。

总的来说,本项目结合了计算机视觉和深度学习技术,为手语识别提供了一个实时的解决方案。这对于听觉障碍者和手语使用者来说是一个有益的工具,可以帮助他们与其他人更轻松地进行交流和理解。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

在这里插入图片描述

系统流程图

系统流程如图所示。

在这里插入图片描述

运行环境

本部分包括 Python 环境、TensorFlow环境、 Keras环境和Android环境。

模块实现

本项目包括6个模块:数据预处理、数据增强、模型构建、模型训练及保存、模型评估和模型测试,下面分别介绍各模块的功能及相关代码。

1. 数据预处理

在Kaggle上下载相应的数据集,下载地址为https://www.kaggle.com/ardamavi/sign-language-digits-dataset。

详见博客。

2. 数据增强

为方便展示生成图片的效果及对参数进行微调,本项目未使用keras直接训练生成器,而是先生成一个增强过后的数据集,再应用于模型训练。

详见博客。

3. 模型构建

数据加载进模型之后,需要定义模型结构,并优化损失函数。

详见博客。

4. 模型训练及保存

本部分包括模型训练和模型保存的相关代码。

1)模型训练

定义模型结构后,通过训练集训练模型,使模型能够识别手语数字。此处将使用训练集、验证集和测试集用于拟合并保存模型。在训练模型过程中,为防止训练过度造成的模型准确度下降,还使用了early stopping技术在一定条件下提前终止训练模型。相关代码如下:

from keras.callbacks import EarlyStopping
def split_dataset(X, y, test_size=0.3, random_state=42):      #分割数据集X_conv=X.reshape(X.shape[0], X.shape[1], X.shape[2],1)return train_test_split(X_conv,y, stratify=y,test_size=test_size,random_state=random_state)
callbacks=None
X_train, X_validation, y_train, y_validation = split_dataset(X_added, y_added)
X_validation, X_test, y_validation, y_test = split_dataset(X_validation, y_validation)
#epochs=80
earlyStopping = EarlyStopping(monitor = 'val_loss', patience=20, verbose = 1) 
if callbacks is None:callbacks = [earlyStopping]#模型训练#history = LossHistory()history = model.fit(X_train, y_train, validation_data=(X_validation, y_validation),callbacks=[earlyStopping],epochs=80,verbose=1)
test_scores=model.evaluate(X_test, y_test, verbose=0)   #模型评估
train_scores=model.evaluate(X_validation, y_validation, verbose=0)
print("[INFO]:Train Accuracy:{:.3f}".format(train_scores[1]))
print("[INFO]:Validation Accuracy:{:.3f}".format(test_scores[1]))
print(plt.plot(history.history["acc"]))
print(plt.plot(history.history["val_acc"]))
from sklearn.metrics import confusion_matrix
#生成混淆矩阵
X_CM=np.reshape(X_test,(X_test.shape[0],64,64,1))
y_pred=model.predict(X_CM)                   #使用整个数据集的数据进行评估
y_ture=decode_OneHotEncoding(y_test)       #One-hot编码的解码
y_ture=correct_mismatches(y_ture)           #图像标签的修正
y_pred=decode_OneHotEncoding(y_pred)
y_pred=correct_mismatches(y_pred)
confusion_matrix(y_ture, y_pred)             #绘制混淆矩阵

训练过程如图所示。

在这里插入图片描述

2)模型保存

为使训练的模型能够应用于Android Studio工程,将模型保存为.pb格式。相关代码如下:

from keras.models import Model
from keras.layers import *
from keras.models import load_model
import os
import tensorflow as tf
def keras_to_tensorflow(keras_model, output_dir, model_name,out_prefix="output_", log_tensorboard=True):#如果目的路径不存在则新建目的路径if os.path.exists(output_dir) == False:  os.mkdir(output_dir)#根据keras模型构建tensorflow模型out_nodes = []for i in range(len(keras_model.outputs)):  out_nodes.append(out_prefix+str(i+1))tf.identity(keras_model.output[i],out_prefix+str(i+ 1))#将tensorflow模型写入目标文件sess=K.get_session()from tensorflow.python.framework import graph_util, graph_ioinit_graph=sess.graph.as_graph_def()    main_graph=graph_util.convert_variables_to_constants(sess,init_graph,out_nodes)graph_io.write_graph(main_graph,output_dir,name=model_name,as_text=False)#展示相关信息if log_tensorboard:from tensorflow.python.tools import import_pb_to_tensorboard        import_pb_to_tensorboard.import_to_tensorboard(os.path.join(output_dir,model_name),output_dir)
output_dir="/Users/chenjiyan/Desktop/信息系统设计项目"   #目的路径
keras_to_tensorflow(model,output_dir=output_dir,model_name="trained_model_imageDataGenerator.pb")
print("MODEL SAVED")

5. 模型评估

由于网络上缺乏手语识别相关模型,为方便在多种模型中选择最优模型,以及进行模型的调优,模型应用于安卓工程之前,需要先在PC设备上使用Python文件进行初步的运行测试,以便验证本方案的手语识别策略是否可行并选择最优的分类模型。具体步骤如下:

(1) 定义皮肤粒子的识别函数,在原图中将不符合肤色检测阈值的区域涂黑。

相关代码如下:

#导入相应包
import cv2
import numpy as np
import keras
from keras.models import load_model
#肤色识别,函数引用自https://blog.csdn.net/qq_23149979/article/details/88569979
def skin(frame):lower = np.array([0, 40, 80], dtype="uint8")upper = np.array([20, 255, 255], dtype="uint8")converted = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)skinMask = cv2.inRange(converted, lower, upper)  #构建提取阈值skinMask = cv2.GaussianBlur(skinMask, (5, 5), 0)skin = cv2.bitwise_and(frame, frame, mask=skinMask)  #将不满足条件的区域涂黑
return skin

(2)打开本地摄像头权限,加载训练好的模型,在while()函数中设定识别手部区域的时间间隔。

(3)使用肤色进行轮廓提取,将提取到的区域进行高斯滤波以及二值化,并使用find-Contour()函数进行轮廓提取,对比每个轮廓大小,并将面积小于阈值的连通域忽略。

(4)使用boundingRect()函数提取原图的手部区域后,将所提取到的区域送至训练好的模型进行分类。相关代码如下:

#主函数
def main():capture = cv2.VideoCapture(0)#model = load_model("/Users/chenjiyan/Desktop/信息系统设计项目/trained_model_ResNet.h5")   #加载模型model = load_model("/Users/chenjiyan/Desktop/信息系统设计项目/trained_model_2.h5")  #加载模型iteator=0while capture.isOpened():iteator=iteator+1if iteator>1000 :iteator=0pressed_key = cv2.waitKey(1)_, frame1 = capture.read()frame1=cv2.flip(frame1,1)#显示摄像头#cv2.imshow('Original',frame1)#皮肤粒子识别frame = skin(frame1)#灰度frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) #高斯滤波frame = cv2.GaussianBlur(frame, (5, 5), 0)#二值化ret, frame = cv2.threshold(frame, 50, 255, cv2.THRESH_BINARY)#轮廓_,contours,hierarchy = cv2.findContours(frame,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)#print("number of contours:%d" % len(contours))cv2.drawContours(frame, contours, -1, (0, 255, 255), 2)#找到最大区域并填充area = []for i in range(len(contours)):area.append(cv2.contourArea(contours[i]))max_idx = np.argmax(area)for i in range(max_idx - 1):cv2.fillConvexPoly(frame, contours[max_idx - 1], 0)cv2.fillConvexPoly(frame, contours[max_idx], 255)#处理后显示x, y, w, h = cv2.boundingRect(contours[max_idx])if x>20 :x=x-20 else :x=0if y>20 :y=y-20 else :y=0h=h+30w=w+50cv2.rectangle(frame1,(x,y),(x+w, y+h),(0,255,0), 2)if iteator%5==0 :#模型预测chepai_raw = frame1[y:y + h, x:x + w]   #提取识别的矩形区域chepai=cv2.flip(chepai_raw,1)             #水平镜像翻转cv2.imshow("Live",chepai)                  #显示输入图像chepai=cv2.resize(chepai,(64,64),interpolation=cv2.INTER_CUBIC)#chepai = np.array(chepai)chepai=cv2.cvtColor(chepai,cv2.COLOR_RGB2GRAY)   #转换为灰度图片chepai=chepai/255chepai=np.reshape(chepai,(1,64,64,1))label_map={0:9,1:0, 2:7, 3:6, 4:1, 5:8, 6:4, 7:3, 8:2, 9:5}#result=model.predict_classes(chepai)#由于没有使用model=Sequential()序列化模型,所以不能使用predict_classesresult = model.predict(chepai)result=np.argmax(result,axis=1)print(label_map[result[0]])#显示图像#cv2.imshow("Live",frame)       #轮廓cv2.imshow('Original',frame1)  #原始图像if pressed_key == 27:break
cv2.destroyAllWindows()
capture.release()

相关其它博客

基于Android+OpenCV+CNN+Keras的智能手语数字实时翻译——深度学习算法应用(含Python、ipynb工程源码)+数据集(一)

基于Android+OpenCV+CNN+Keras的智能手语数字实时翻译——深度学习算法应用(含Python、ipynb工程源码)+数据集(二)

基于Android+OpenCV+CNN+Keras的智能手语数字实时翻译——深度学习算法应用(含Python、ipynb工程源码)+数据集(四)

基于Android+OpenCV+CNN+Keras的智能手语数字实时翻译——深度学习算法应用(含Python、ipynb工程源码)+数据集(五)

工程源代码下载

详见本人博客资源下载页


其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系,欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线,所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台,AI技术平台以及相关领域专家:Datawhale,ApacheCN,AI有道和黄海广博士等约有近100G相关资料,希望能帮助到所有小伙伴们。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/116261.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

雷达编程实战之静态杂波滤除与到达角估计

雷达中经过混频的中频信号常常混有直流分量等一系列硬件设计引入的固定频率杂波,我们称之位静态杂波,雷达信号处理需要把这些静态杂波滤除从而有效的提高信噪比,实现准确的目标检测功能。 目标的到达角估计作为常规车载雷达信号处理的末端&am…

机器视觉康耐视Visionpro-脚本编写标记标识:点,直线,矩形,圆

显示标记标识的重要作用就是,对NG或者OK对操作机器视觉的人去看到具体位置缺陷或者NG坐标。 一.点CogPointMarker CogPointMarker PointMarker1 = new CogPointMarker();//创建对象,点CogPointMarker //注意运行工具 PointMarker1.X = 100; PointMarker1

多线程带来的的风险-线程安全

多线程带来的的风险-线程安全 ~~ 多线程编程中,最难的地方,也是一个最重要的地方,还是一个最容易出错的地方,更是一个面试中特别爱考的地方.❤️❤️❤️ 线程安全的概念 万恶之源,罪魁祸首是多线程的抢占式执行,带来的随机性.~~😕😕&…

人与机器只能感知到可以分类的事物?

众所周知,人与机器都能够感知和分类事物。人类拥有感官系统,如视觉、听觉、嗅觉、触觉和味觉,可以通过感知事物的外部特征和属性来进行分类。机器可以通过传感器和算法来感知和分类事物,比如计算机视觉技术可以通过图像和视频数据…

基于PLE结合卡尔曼滤波的RSSI定位算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.部分核心程序 ............................................................... for Num_xb Num_xb2Num_…

银行家算法——C语言实现

算法思路 将操作系统看作是银行家,操作系统所拥有的资源就相当于银行家所拥有的资产,进程向操作系统申请资源就相当于资产家向银行贷款,规定资产家在向银行贷款之前,先申明其所贷数额的最大值,申明之后其贷款的数额不…

【Verilog语法】比较不同计数器的运算方式,其中有一个数是延迟打一拍的效果,目的是使得两个计数器的结果相同。

比较不同计数器的运算方式,其中有一个数是延迟打一拍的效果,目的是使得两个计数器的结果相同。 1,第一种2,第二种3,第三种 第三种方案,完成实现。 1,第一种 (1)RTL modu…

深度学习自学笔记一:神经网络和深度学习

神经网络是一种模拟人脑神经元之间相互连接的计算模型,它由多个节点(或称为神经元)组成,并通过调整节点之间的连接权重来学习和处理数据。深度学习则是指利用深层次的神经网络进行学习和建模的机器学习方法。 假设有一个数据集&a…

SAP Service服务重注册技术手册

当SAP服务被卸载后,或SAP虚拟机整机copy后(可能还需要涉及主机名更改),需要对SAP服务重注册。 在路径 \sapmnt\<SID>\ DVEBMGS00\exe下使用程序sapstartsrv.exe来卸载、安装SAP服务: 其中<SID>、NR参考Service中需要卸载的服务名(卸载后,Services列表中的SA…

力扣刷题-链表理论基础

什么是链表 什么是链表&#xff0c;链表是一种通过指针串联在一起的线性结构&#xff0c;每一个节点由两部分组成&#xff0c;一个是数据域一个是指针域&#xff08;存放指向下一个节点的指针&#xff09;&#xff0c;最后一个节点的指针域指向null&#xff08;空指针的意思&a…

Android开发笔记 :理解Fragment

Android开发笔记&#xff1a;理解Fragment 导言 本篇文章产生的原因很简单&#xff0c;就是我在了解Android Jetpack中的Lifecycle框架时发现Lifecycle具体时间和状态的更新都是由一个名为ReportFragment的Fragment来跟踪的&#xff0c;为了更好的了解Fragment是如何追踪Activ…

从Python代码到诗

&#x1f433;序言 在Python社区&#xff0c;没有强制的编码标准&#xff0c;这虽然赋予了开发者更多的自由&#xff0c;但也导致代码风格不一致性。使得部分代码变得晦涩难懂&#xff0c;本文将探讨一系列的开发技巧和最佳实践&#xff0c;开发出优雅的Python脚本。 1、参数接…