活体检测（点头，摇头，张嘴等动态识别）

活体检测（点头，摇头，张嘴等动态识别）

在这里插入图片描述

某本书里有一句话，等我去读、去拍案。
田间的野老，等我去了解、去惊识。
山风与发，冷泉与舌，
流云与眼，松涛与耳，
他们等着，在神秘的时间的两端等着，
等着相遇的一刹——
一旦相遇，就不一样了，永远不一样了。
—— 张晓风 《我还有一片风景要完成》

背景说明

为什么会写这篇文章，在这里，向大家做一个解释，也作为一个开场白，供大家参考，知道这篇文章会涉及那些内容：

1.对于人脸识别打卡，存在照片打卡，没有活体检测

2.目前的活体检测服务售价高，造成开发成本

3.自主集成度低，不能随意的修改变化，响应业务需求

因此，在这里写下这篇文章，但是，由于活体检测的算法以及核心代码是一位github的技术大佬，在这里向前辈致敬！

Live_Detection https://github.com/echo1118/Live_Detection

代码实现

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import argparse
import imutils
import time
import dlib
import cv2
import numpy as npdef eye_aspect_ratio(eye):# 计算眼睛的两组垂直关键点之间的欧式距离A = dist.euclidean(eye[1], eye[5])  # 1,5是一组垂直关键点B = dist.euclidean(eye[2], eye[4])  # 2,4是一组# 计算眼睛的一组水平关键点之间的欧式距离C = dist.euclidean(eye[0], eye[3])  # 0,3是一组水平关键点# 计算眼睛纵横比ear = (A + B) / (2.0 * C)# 返回眼睛纵横比return eardef mouth_aspect_ratio(mouth):# 默认二范数：求特征值，然后求最大特征值得算术平方根A = np.linalg.norm(mouth[2] - mouth[9])  # 51, 59（人脸68个关键点）B = np.linalg.norm(mouth[4] - mouth[7])  # 53, 57C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55mar = (A + B) / (2.0 * C)return mardef nose_jaw_distance(nose, jaw):# 计算鼻子上一点"27"到左右脸边界的欧式距离face_left1 = dist.euclidean(nose[0], jaw[0])  # 27, 0face_right1 = dist.euclidean(nose[0], jaw[16])  # 27, 16# 计算鼻子上一点"30"到左右脸边界的欧式距离face_left2 = dist.euclidean(nose[3], jaw[2])  # 30, 2face_right2 = dist.euclidean(nose[3], jaw[14])  # 30, 14# 创建元组，用以保存4个欧式距离值face_distance = (face_left1, face_right1, face_left2, face_right2)return face_distancedef eyebrow_jaw_distance(leftEyebrow, jaw):# 计算左眉毛上一点"24"到左右脸边界的欧式距离（镜像对称）eyebrow_left = dist.euclidean(leftEyebrow[2], jaw[0])  # 24, 0eyebrow_right = dist.euclidean(leftEyebrow[2], jaw[16])  # 24, 16# 计算左右脸边界之间的欧式距离left_right = dist.euclidean(jaw[0], jaw[16])  # 0, 16# 创建元组，用以保存3个欧式距离值eyebrow_distance = (eyebrow_left, eyebrow_right, left_right)return eyebrow_distance# 构造参数解析并解析参数
def Face_Recognize(file_path):EYE_AR_THRESH = 0.27  # 眨眼阈值EYE_AR_CONSEC_FRAMES =2  # 闭眼次数阈值# 张嘴阈值MAR_THRESH = 0.5# 初始化眨眼帧计数器和总眨眼次数COUNTER_EYE = 0TOTAL_EYE = 0# 初始化张嘴帧计数器和总张嘴次数COUNTER_MOUTH = 0TOTAL_MOUTH = 0# 初始化摇头帧计数器和摇头次数distance_left = 0distance_right = 0TOTAL_FACE = 0# 初始化点头帧计数器和点头次数nod_flag = 0TOTAL_NOD = 0# 初始化dlib的人脸检测器（基于HOG），然后创建面部界标预测器print("[Prepare000] 加载面部界标预测器...")# 表示脸部位置检测器detector = dlib.get_frontal_face_detector()# 表示脸部特征位置检测器predictor = dlib.shape_predictor("./static/shape_predictor_68_face_landmarks.dat")# 左右眼的索引(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"](rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]# 嘴唇的索引(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]# 鼻子的索引(nStart, nEnd) = face_utils.FACIAL_LANDMARKS_IDXS["nose"]# 下巴的索引(jStart, jEnd) = face_utils.FACIAL_LANDMARKS_IDXS['jaw']# 左眉毛的索引(Eyebrow_Start, Eyebrow_End) = face_utils.FACIAL_LANDMARKS_IDXS['left_eyebrow']# 启动视频流线程print("[Prepare111] 启动视频流线程...")print("[Prompt information] 按Q键退出...")vs = FileVideoStream(file_path).start()fileStream = Truetime.sleep(1.0)# 循环播放视频流中的帧while True:# 如果这是一个文件视频流，那么我们需要检查缓冲区中是否还有更多的帧需要处理if fileStream and not vs.more():break# 从线程视频文件流中获取帧，调整大小并将其转换为灰度通道frame = vs.read()frame = imutils.resize(frame, width=600)gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 在灰度框中检测人脸rects = detector(gray, 0)# 循环人脸检测for rect in rects:shape = predictor(gray, rect)shape = face_utils.shape_to_np(shape)# 提取左眼和右眼坐标，然后使用该坐标计算两只眼睛的眼睛纵横比leftEye = shape[lStart:lEnd]rightEye = shape[rStart:rEnd]leftEAR = eye_aspect_ratio(leftEye)rightEAR = eye_aspect_ratio(rightEye)# 提取嘴唇坐标，然后使用该坐标计算嘴唇纵横比Mouth = shape[mStart:mEnd]mouthMAR = mouth_aspect_ratio(Mouth)# 提取鼻子和下巴的坐标，然后使用该坐标计算鼻子到左右脸边界的欧式距离nose = shape[nStart:nEnd]jaw = shape[jStart:jEnd]NOSE_JAW_Distance = nose_jaw_distance(nose, jaw)# 提取左眉毛的坐标，然后使用该坐标计算左眉毛到左右脸边界的欧式距离leftEyebrow = shape[Eyebrow_Start:Eyebrow_End]Eyebrow_JAW_Distance = eyebrow_jaw_distance(leftEyebrow, jaw)# 对左右两只眼睛的纵横比取平均值ear = (leftEAR + rightEAR) / 2.0# 移植嘴唇纵横比mar = mouthMAR# 移植鼻子到左右脸边界的欧式距离face_left1 = NOSE_JAW_Distance[0]face_right1 = NOSE_JAW_Distance[1]face_left2 = NOSE_JAW_Distance[2]face_right2 = NOSE_JAW_Distance[3]# 移植左眉毛到左右脸边界的欧式距离，及左右脸边界之间的欧式距离eyebrow_left = Eyebrow_JAW_Distance[0]eyebrow_right = Eyebrow_JAW_Distance[1]left_right = Eyebrow_JAW_Distance[2]# 判断眼睛纵横比是否低于眨眼阈值，如果是，则增加眨眼帧计数器if ear < EYE_AR_THRESH:COUNTER_EYE += 1# 否则，眼睛的纵横比不低于眨眼阈值else:# 如果闭上眼睛的次数足够多，则增加眨眼的总次数if COUNTER_EYE >= EYE_AR_CONSEC_FRAMES:TOTAL_EYE += 1# 重置眼框计数器COUNTER_EYE = 0# 判断嘴唇纵横比是否高于张嘴阈值，如果是，则增加张嘴帧计数器if mar > MAR_THRESH:COUNTER_MOUTH += 1# 否则，嘴唇的纵横比低于或等于张嘴阈值else:# 如果张嘴帧计数器不等于0，则增加张嘴的总次数if COUNTER_MOUTH != 0:TOTAL_MOUTH += 1COUNTER_MOUTH = 0# 根据鼻子到左右脸边界的欧式距离，判断是否摇头# 左脸大于右脸if face_left1 >= face_right1 + 2 and face_left2 >= face_right2 + 2:distance_left += 1# 右脸大于左脸if face_right1 >= face_left1 + 2 and face_right2 >= face_left2 + 2:distance_right += 1# 左脸大于右脸，并且右脸大于左脸，判定摇头if distance_left != 0 and distance_right != 0:TOTAL_FACE += 1distance_right = 0distance_left = 0# 两边之和是否小于或等于第三边+阈值，来判断是否点头# 根据左眉毛到左右脸边界的欧式距离与左右脸边界之间的欧式距离作比较，判断是否点头if eyebrow_left + eyebrow_right <= left_right + 3:nod_flag += 1if nod_flag != 0 and eyebrow_left + eyebrow_right >= left_right + 3:TOTAL_NOD += 1nod_flag = 0# 画出画框上眨眼的总次数以及计算出的帧的眼睛纵横比cv2.putText(frame, "Blinks: {}".format(TOTAL_EYE), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出张嘴的总次数以及计算出的帧的嘴唇纵横比cv2.putText(frame, "Mouth is open: {}".format(TOTAL_MOUTH), (10, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出摇头次数cv2.putText(frame, "shake one's head: {}".format(TOTAL_FACE), (10, 90),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出点头次数cv2.putText(frame, "nod: {}".format(TOTAL_NOD), (10, 120),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 活体检测cv2.putText(frame, "Live detection: wink(5)", (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_EYE >= 5:  # 眨眼五次cv2.putText(frame, "open your mouth(3)", (300, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_MOUTH >= 3:  # 张嘴三次cv2.putText(frame, "shake your head(2)", (300, 90),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_FACE >= 2:  # 摇头两次cv2.putText(frame, "nod(2)", (300, 120),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_NOD >= 2:  # 点头两次cv2.putText(frame, "Live detection: done", (300, 150),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 展示窗口cv2.imshow("Frame", frame)key = cv2.waitKey(1) & 0xFF# Q键退出if key == ord("q"):break# 撕毁窗口cv2.destroyAllWindows()vs.stop()

这段Python代码实现了一个基于计算机视觉的人脸动作识别系统，主要用于实时分析视频流中的人脸行为，如眨眼、张嘴、摇头和点头等动作。

  1. 导入必要的库：

    • scipy.spatial.distance用于计算两个点之间的欧氏距离。
    • imutils.video.FileVideoStream和imutils.video.VideoStream用于处理视频流。
    • imutils.face_utils包含一些方便的人脸特征点操作函数。
    • 其他库包括OpenCV (cv2)、NumPy (numpy) 和时间 (time) 等，用于图像处理和程序控制。

  2. 定义了几个辅助函数：

    • eye_aspect_ratio(eye)：计算眼睛的纵横比（EAR），这是评估眼睛是否闭合的关键指标。
    • mouth_aspect_ratio(mouth)：计算嘴巴的纵横比（MAR），用来判断嘴巴是否张开。
    • nose_jaw_distance(nose, jaw)：计算鼻子到左右脸颊边界的距离，用于估计头部运动。
    • eyebrow_jaw_distance(leftEyebrow, jaw)：计算眉毛到左右脸颊边界的距离，辅助判断点头动作。

  3. 主函数Face_Recognize(file_path)接收一个视频文件路径作为输入：

    • 设置了几个阈值变量，如眨眼、张嘴的阈值等。
    • 使用dlib库加载预训练的人脸检测器和面部特征预测器模型。
    • 获取人脸特征点的索引范围（例如眼睛、嘴巴、鼻子、下巴和眉毛）。

  4. 开启视频流，读取每一帧图像并执行以下步骤：

    • 对每帧图像进行灰度处理，并使用dlib检测人脸。
    • 遍历检测到的人脸，利用面部特征预测器提取68个特征点。
    • 计算眼睛和嘴巴的纵横比以及其他几何特征。
    • 根据预先设定的阈值，累计眨眼和张嘴的动作次数。
    • 利用鼻子和下巴的位置变化判断摇头动作。
    • 根据眉毛位置判断点头动作。

  5. 将检测到的动作次数实时显示在视频帧上，并通过键盘事件监听用户按键，当按下q时退出程序。

这就是主要方法，在原来的方法上进行了修改，取消了摄像头捕获视频，采用API接口调用传参，更加灵活！但是，对于传参方式以及效率问题，目前也是在进行思考，是否采用实时视频流进行传输还是怎么弄，目前没有确定，现在，我们这里就是给大家一个基础的核心解决方法！就是前端传递视频地址到后端，后端对于视频画像进行解析，以此进行活体判断，当然，必然存在不足，目前本人技术尚浅，后期再做深入！

API接口

import base64
from flask import Flask, request
import numpy as np
import cv2
import imutils
import dlib
from imutils import face_utilsimport DynamicRecognitionapp = Flask(__name__)@app.route('/process_video', methods=['GET'])
def process_video():# 从前端获取视频文件地址file_path = request.args.get('file_path')# 视频分析DynamicRecognition.Face_Recognize(file_path)# 返回处理后的结果（可以是JSON格式）return {"result": "Processed successfully"}if __name__ == '__main__':app.run(debug=True)

效果测试

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/527655.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

吴恩达机器学习笔记十六 如何debug一个学习算法 模型评估 模型选择和训练 交叉验证测试集

吴恩达机器学习笔记十六 如何debug一个学习算法 模型评估 模型选择和训练 交叉验证测试集

如果算法预测出的结果不太好&#xff0c;可以考虑以下几个方面&#xff1a; 获得更多的训练样本 采用更少的特征 尝试获取更多的特征 增加多项式特征 增大或减小 λ 模型评估(evaluate model) 例如房价预测&#xff0c;用五个数据训练出的模型能很好的拟合这几个数据&am…
阅读更多...
java正则表达式概述及案例

java正则表达式概述及案例

前言&#xff1a; 学习了正则表达式&#xff0c;记录下使用心得。打好基础&#xff0c;daydayup! 正则表达式 什么是正则表达式 正则表达式由一些特定的字符组成&#xff0c;代表一个规则。 正则表达式的功能 1&#xff1a;用来校验数据格式是否合规 2&#xff1a;在一段文本…
阅读更多...
QT画图功能

QT画图功能

QT画图功能 每个QWidget都自带的功能&#xff0c;继承了QPainteDevice都可以使用QPainter来进行绘图。 画图需要调用paintEvent绘制事件&#xff0c;paintEvent事件时QWidget类自带的事件。 重写paintEvent事件。&#xff08;重写事件&#xff1a;如果父类有某个方法&#xff…
阅读更多...
C++类和对象（下篇）

C++类和对象（下篇）

目录 一.再谈构造函数 二.static成员 三.友元 四.内部类 五. 再次理解类和对象 一.再谈构造函数 1.构造函数体赋值 在创建对象时&#xff0c;编译器通过调用构造函数&#xff0c;给对象中各个成员变量一个合适的初始值。 class Date { public:Date(int year, int month…
阅读更多...
8.5 Springboot项目实战 Redis缓存热点数据

8.5 Springboot项目实战 Redis缓存热点数据

文章目录 前言一、缓存与数据库一致性二、Repository层 -- Cache Aside模式实操BookRepositoryBookRepositoryImpl2.1 查询2.2 修改2.3 删除2.4 扩展Mapper修改三、Service层调用修改四、测试前言 前两文我们讲解了如何在SpringBoot中整合Redis，接下来我们将进行
阅读更多...
Linux C/C++下使用Lex/Yacc构建实现DBMS（Minisql）

Linux C/C++下使用Lex/Yacc构建实现DBMS（Minisql）

DBMS&#xff08;数据库管理系统&#xff09;是一种用于管理和组织数据库的软件系统。它的重要性在于提供了一种有效地存储、管理和访问大量数据的方式。本文将深入探讨如何使用C语言、Lex&#xff08;词法分析器生成器&#xff09;和Yacc&#xff08;语法分析器生成器&#xf…
阅读更多...
设计模式学习笔记 - 规范与重构 - 5.如何通过封装、抽象、模块化、中间层解耦代码？

设计模式学习笔记 - 规范与重构 - 5.如何通过封装、抽象、模块化、中间层解耦代码？

前言 《规范与重构 - 1.什么情况下要重构&#xff1f;重构什么&#xff1f;又该如何重构&#xff1f;》讲过&#xff0c;重构可以分为大规模高层重构&#xff08;简称 “大型重构”&#xff09;和小规模低层次重构&#xff08;简称 “小型重构”&#xff09;。大型重构是对系统…
阅读更多...
LTspice(14) Noise仿真

LTspice(14) Noise仿真

LTspice(14) Noise仿真 好久没有更新LTspice的教程了&#xff0c;大家想了没&#xff1f; 截止目前LTspice已经更新到24.0.9。界面发生了一些变化&#xff0c;但主要功能并不受影响&#xff0c;新的版本改了UI&#xff0c;找东西更加方便了&#xff0c;界面如下图1所示。 图1…
阅读更多...
CSP初赛备考—汉字与运算

CSP初赛备考—汉字与运算

汉字 英文字符 英文字符的编码有两种：①ASCII标准码，7位（128个字符）②ASCII扩展吗，8位（256个字符） 中文字符 汉字分为两级：①一级汉字：3755个，按汉语拼音字母的次序排列。②二级汉字：3008个，按偏旁部首排列。 那么，怎么编码呢？要使用区位码和字形码等等。 区…
阅读更多...
VMware虚拟机安装Ubuntu kylin22.04系统教程（附截图详细步骤）

VMware虚拟机安装Ubuntu kylin22.04系统教程（附截图详细步骤）

一、版本信息 虚拟机产品&#xff1a;VMware Workstation 17 Pro 虚拟机版本&#xff1a;17.0.0 build-20800274 ISO映像文件&#xff1a;ubuntukylin-22.04-pro-amd64.iso 二、安装步骤 打开虚拟机&#xff0c;点击创建新的虚拟机&#xff1a; 选择自定义&#xff1a; 硬…
阅读更多...
新雀优化算法NOA求解机器人栅格地图最短路径规划，可以自定义地图（提供MATLAB代码）

新雀优化算法NOA求解机器人栅格地图最短路径规划，可以自定义地图（提供MATLAB代码）

一、星雀优化算法 星雀优化算法(Nutcracker optimizer algorithm,NOA)由Mohamed Abdel-Basset等人于2023年提出&#xff0c;该算法模拟星雀的两种行为&#xff0c;即&#xff1a;在夏秋季节收集并储存食物&#xff0c;在春冬季节搜索食物的存储位置。CEC2005:星雀优化算法(Nut…
阅读更多...
基于51单片机的定时器时钟设计[proteus仿真]

基于51单片机的定时器时钟设计[proteus仿真]

基于51单片机的定时器时钟设计[proteus仿真] 时钟设计检测系统这个题目算是课程设计和毕业设计中常见的题目了&#xff0c;本期是一个基于51单片机的定时器时钟设计 需要的源文件和程序的小伙伴可以关注公众号【阿目分享嵌入式】&#xff0c;赞赏任意文章 2&#xffe5;&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023