《opencv实用探索·十九》光流法检测运动目标

前言
光流法（Optical Flow）是计算机视觉中的一种技术，用于估计图像中相邻帧之间的像素位移或运动。它是一种用于追踪图像中物体运动的技术，可以在视频中检测并测量物体的运动轨迹。
光流的直观理解：
光流是一个视频中两个连续帧之间的逐像素运动估计任务。基本上，光流任务意味着计算像素的移动向量作为物体在两个相邻图像之间的位移差。光流的主要思想是估计物体运动或摄像机运动引起的物体的位移矢量
在这里插入图片描述

光流法基于以下两个主要假设：

灰度恒定假设（Brightness Constancy Assumption）： 在短时间内，相邻帧中的像素灰度值保持不变。这意味着在相邻帧中，同一物体的灰度值应该是相似的。

空间一致性假设（Spatial Coherence Assumption）： 邻近像素点的运动是相似的。这意味着在一个小的局部区域内，像素点的运动可以通过一个共同的运动向量来描述。

基于这些假设，光流法的目标是计算场景中每个像素点在图像平面上的运动矢量。这些运动矢量描述了像素从一帧到下一帧的位移。
在光流法的实现中，有几种不同的方法，其中最常见的是Lucas-Kanade方法和Horn-Schunck方法。
Lucas-Kanade方法： 该方法基于灰度恒定和空间一致性假设，通过在图像上的局部区域内求解一个线性方程组来计算运动矢量。它假设邻近像素点的运动是相似的，因此在局部区域内使用最小二乘法来估计运动。
Horn-Schunck方法： 该方法通过最小化整个图像上的一个全局能量函数来计算光流场。它对整个图像施加了平滑性的约束，因此在处理相对较大的运动时效果较好。

总体而言，光流法是一种有用的技术，尤其在分析视频中物体的运动、跟踪目标或检测异常事件时。然而，它的性能可能受到场景中运动的复杂性、遮挡、图像噪声等因素的影响，因此在特定应用中需要仔细考虑其局限性。

流光法检测中需要用到的一些函数说明：
（1）cv::goodFeaturesToTrack

void cv::goodFeaturesToTrack(InputArray image, // 输入图像（通常是灰度图像）OutputArray corners, // 输出参数，包含检测到的角点坐标int maxCorners, // 要检测的角点的最大数量double qualityLevel, // 角点的质量水平阈值，范围在0到1之间double minDistance, // 检测到的角点之间的最小欧氏距离。两个角点之间的距离小于该值的角点将被忽略。InputArray mask = noArray(), // 可选参数，用于指定感兴趣区域int blockSize = 3, // 角点检测中使用的邻域区域的大小bool useHarrisDetector = false, // 是否使用Harris角点检测算法，如果为false，则使用Shi-Tomasi角点检测算法double k = 0.04 // Harris角点检测算法的自由参数
);

cv::goodFeaturesToTrack 是OpenCV中用于在图像中检测角点的函数，通常用于计算机视觉中的光流法等任务。这个函数实现了 Shi-Tomasi 角点检测算法，该算法是对 Harris 角点检测算法的改进。
关键参数的设置说明：
maxCorners：如果设置得太小，可能会错过图像中的一些重要角点。如果设置得太大，算法可能检测到冗余的角点，导致性能下降。

qualityLevel：一般情况下设置0.01，较小的 qualityLevel 值会选择图像中质量较高的角点，即灰度梯度变化较为显著的地方。相应地，检测到的角点数量可能相对较少。这个设置适合于希望选择图像中明显特征的情况，例如在纹理较强的区域选择角点。较大的 qualityLevel 值会放宽对角点质量的要求，接受更多的角点，即使它们的质量不太高。这个设置适合于希望检测到更多角点，即使它们的特征不如较高质量的角点明显的情况。

minDistance： 选择通常取决于图像中角点的分布情况。如果图像中的角点密集分布，可以选择较小的值，例如 5-10 像素。如果角点分布较稀疏，可以适当增大该值。

（2）calcOpticalFlowPyrLK（Lucas-Kanade光流算法）

void cv::calcOpticalFlowPyrLK(cv::InputArray prevImg,cv::InputArray nextImg,cv::InputArray prevPts,cv::InputOutputArray nextPts,cv::OutputArray status,cv::OutputArray err,cv::Size winSize = Size(21, 21),int maxLevel = 3,cv::TermCriteria criteria = TermCriteria(TermCriteria::COUNT + TermCriteria::EPS, 30, 0.01),int flags = 0,double minEigThreshold = 1e-4
);

calcOpticalFlowPyrLK 是 OpenCV 库中用于光流计算的函数之一，用于在两幅图像之间计算稀疏特征点的光流。
prevImg: 先前帧的输入图像（灰度图）。
nextImg: 下一帧的输入图像（灰度图）。
prevPts: 先前帧的输入特征点。
nextPts: 输出参数，包含了在下一帧中找到的对应特征点的坐标。
status: 输出参数，标志每个特征点的跟踪状态（1表示成功，0表示失败）。
err: 输出参数，包含每个特征点的误差。
winSize: 搜索窗口的大小。
maxLevel: 金字塔的最大层数。
criteria: 用于迭代优化的终止准则。
flags: 光流计算的选项。
minEigThreshold: 特征值的阈值，用于判断矩阵是否足够良好。

光流法检测基本流程：
（1）获取两幅相邻的图像帧。这两帧图像之间的时间间隔应足够小，以便近似相邻帧之间的物体位移。对图像进行必要的预处理，例如灰度化、去噪、边缘检测等。预处理的目标是提取图像中的特征，以便在不同帧之间匹配。
（2）在两帧图像中检测特征点。常用的特征点包括角点、角落、边缘等。
（3）计算光流场：光流场表示图像中每个像素的位移向量。计算光流场的目标是找到相邻帧中每个特征点的位移。常见的光流计算方法包括：
Lucas-Kanade方法： 假设在一个小的邻域内，光流是基本一致的。通过局部的亮度梯度来估计位移。
Horn-Schunck方法： 基于全局约束的光流计算方法，考虑整个图像中的光流场。
（4）可以将计算得到的光流场可视化，以便观察物体的运动方向和速度。通常使用箭头或其他标记来表示光流向量。

代码示例：

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;//-----------------------------------【全局函数声明】-----------------------------------------
//		描述：声明全局函数
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output);//-----------------------------------【全局变量声明】-----------------------------------------
//		描述：声明全局变量
//-------------------------------------------------------------------------------------------------
string window_name = "optical flow tracking";
Mat gray_now;	// 当前图片
Mat gray_prev;	// 预测图片
vector<Point2f> pointsPre;	// 上一帧角点集合
vector<Point2f> pointsNow;  //下一帧角点集合
vector<Point2f> pointsPreTmp;	// 一个临时容器，存放上一帧角点集合
vector<Point2f> features;	// 检测的特征
int maxCount = 500;	// 检测的最大特征数
double qLevel = 0.01;	// 特征检测的等级
double minDist = 10.0;	// 两特征点之间的最小距离
vector<uchar> status;	// 跟踪特征的状态，特征的流发现为1，否则为0
vector<float> err;int main()
{Mat frame;Mat result;VideoCapture capture("1.avi");if (capture.isOpened())	// 摄像头读取文件开关{//获取第一帧图像并保存计算的角点capture >> frame;if (!frame.empty()){cvtColor(frame, gray_prev, COLOR_BGR2GRAY);//角点检测goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);//存放检测的角点pointsPre.insert(pointsPre.end(), features.begin(), features.end());//临时容器在存放一份角点pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());}while (true){//循环采取下一帧图像capture >> frame;if (!frame.empty()){tracking(frame, result);}else{printf(" --(!) No captured frame -- Break!");break;}int c = waitKey(50);if ((char)c == 27){break;}}}return 0;
}//-------------------------------------------------------------------------------------------------
// function: tracking
// brief: 跟踪
// parameter: frame	输入的视频帧
//			  output 有跟踪结果的视频帧
// return: void
//-------------------------------------------------------------------------------------------------
void tracking(Mat& frame, Mat& output)
{cvtColor(frame, gray_now, COLOR_BGR2GRAY);frame.copyTo(output);// 添加特征点if (pointsPre.size() <= 10)  //如果角点的数量过少就继续添加{//角点检测goodFeaturesToTrack(gray_prev, features, maxCount, qLevel, minDist);//存放检测的角点pointsPre.insert(pointsPre.end(), features.begin(), features.end());//临时容器在存放一份角点pointsPreTmp.insert(pointsPreTmp.end(), features.begin(), features.end());}//Lucas-Kanade光流法运动估计（pointsNow存放的是估计下一帧gray_now图像中的特征点）calcOpticalFlowPyrLK(gray_prev, gray_now, pointsPre, pointsNow, status, err);// 保留下一帧中估计出的比较好的特征点int k = 0;for (size_t i = 0; i < pointsNow.size(); i++){//设置跟踪点被接受的条件//status[i]：表示第 i 个特征点的跟踪状态，为1表示特征点的流被检测到，为0表示未检测到。//前后两次点的x移动距离 + y移动距离 > 2if (status[i] && ((abs(pointsPre[i].x - pointsNow[i].x) + abs(pointsPre[i].y - pointsNow[i].y)) > 2)){pointsPreTmp[k] = pointsPreTmp[i];   //保留了下一帧好的特征点，那么对应的上一帧同样位置的特征点重新备份到临时容器pointsNow[k++] = pointsNow[i];      //重新对下一帧角点容器进行更新，保存存放的都是好的特征点}}//重新更新两个容器长度pointsNow.resize(k);pointsPreTmp.resize(k);// 显示特征点和运动轨迹for (size_t i = 0; i < pointsNow.size(); i++){line(output, pointsPreTmp[i], pointsNow[i], Scalar(0, 0, 255)); //画出直线起点为上一帧特征点，终点为下一帧特征点circle(output, pointsNow[i], 3, Scalar(0, 255, 0), -1);         //对下一帧特征点标记圆，可以明显看出运动方向}// 采集下一帧图像之前先把当前帧的结果更新到上一帧pointsPre = pointsNow;gray_prev = gray_now.clone();imshow(window_name, output);
}

代码分析：
（1）先采集第一帧当作上一帧，进行角点检测存放到容器
（2）进入while循环开启采集下一帧，通过Lucas-Kanade光流法估计上一帧角点在下一帧的位置
（3）筛选下一帧比较好的角点存放容器
（4）画出上一帧到下一帧路线进行显示
（5）在继续开启下一帧图像采集前把这一帧的结果更新到上一帧容器
（6）开启一个新的循环，先判断上一帧容器角点数量是否充足，不充足则添加，然后重复上述步骤

效果显示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/277355.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Springboot集成支付宝支付---完整详细步骤

Springboot集成支付宝支付---完整详细步骤

网页操作步骤 1.进入支付宝开发平台—沙箱环境 使用开发者账号登录开放平台控制平台 2.点击沙箱进入沙箱环境 说明&#xff1a;沙箱环境支持的产品&#xff0c;可以在沙箱控制台 沙箱应用 > 产品列表 中查看。 3.进入沙箱&#xff0c;配置接口加签方式 在沙箱进行调试前…
阅读更多...
电影《旺卡》观后感

电影《旺卡》观后感

上周看了电影《旺卡》&#xff0c;这部电影可是说是非常好&#xff0c;非常值得去观看&#xff0c;看影片简绍&#xff0c;主角是之前《查理与巧克力工厂》的主人公扮演的。如果说有谁能在现实中造梦想的话&#xff0c;那么自己认为至少在就近的一段时间里&#xff0c;这部影片…
阅读更多...
吉林省文旅厅联合高德地图上线自驾游精品线路指南

吉林省文旅厅联合高德地图上线自驾游精品线路指南

12月15日消息&#xff0c;今日&#xff0c;吉林省文化和旅游厅联合高德地图推出“吉林省自驾游精品线路指南”&#xff0c;依托全省冬夏两季特色资源&#xff0c;推出了基于位置的8条自驾游品牌路线、百余个吉林省重点旅游场景&#xff0c;游客可以根据季节、地理位置、资源类型…
阅读更多...
NPM开发工具的简介和使用方法及代码示例

NPM开发工具的简介和使用方法及代码示例

NPM&#xff08;Node Package Manager&#xff09;是Node.js的包管理工具&#xff0c;用于管理和共享被发布到模块仓库的JavaScript代码。本文将介绍NPM的定义、使用方法、代码示例以及总结。 一、NPM的定义 NPM是Node.js的默认包管理工具&#xff0c;它的功能包括安装、管理、…
阅读更多...
Pytest自动化测试用例中的断言详解

Pytest自动化测试用例中的断言详解

前言 测试的主要工作目标就是验证实际结果与预期结果是否一致&#xff1b;在接口自动化测试中&#xff0c;通过断言来实现这一目标。Pytest中断言是通过assert语句实现的&#xff08;pytest对Python原生的assert语句进行了优化&#xff09;&#xff0c;确定实际情况是否与预期一…
阅读更多...
由@EnableWebMvc注解引发的Jackson解析异常

由@EnableWebMvc注解引发的Jackson解析异常

同事合了代码到开发分支&#xff0c;并没有涉及到改动的类却报错。错误信息如下&#xff1a; Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.http.conv…
阅读更多...
PO 对象被锁定

PO 对象被锁定

问题描述 在创建PO对象的时候&#xff0c;由于上次电脑断网导致PO连接中断&#xff0c;但服务器中登录用户还在占用PO对象&#xff0c;需要手动在POD中删除锁对象才可编辑 解决方案 登录到POD页面&#xff0c;点击右上角Administration 点击Lock Overview&#xff0c;查看…
阅读更多...
羊大师提问羊奶养胃，你知道吗？

羊大师提问羊奶养胃，你知道吗？

近年来&#xff0c;人们对于健康的关注逐渐增加&#xff0c;养生已经成为一种时尚。养胃是其中一种重要的养生方式&#xff0c;而羊奶则是备受关注的一种养胃饮品。那么问题来了&#xff0c;羊奶真的能够养胃吗&#xff1f; 羊奶是一种营养丰富的乳制品&#xff0c;与牛奶相比…
阅读更多...
canvas基本绘制对象

canvas基本绘制对象

目录 绘制画布 设置画布 绘制圆形 绘制矩形填充渐变色 绘制文字及文字样式 绘制画布 <canvas id"canvas" width"800" height"600"></canvas> 设置画布 //获得画布元素var canvasdocument.getElementById(canvas);var ctxca…
阅读更多...
Java医院信息化建设云HIS系统源码

Java医院信息化建设云HIS系统源码

云HIS提供标准化、信息化、可共享的医疗信息管理系统&#xff0c;实现医患事务管理和临床诊疗管理等标准医疗管理信息系统的功能。优化就医、管理流程&#xff0c;提升患者满意度、基层首诊率&#xff0c;通过信息共享、辅助诊疗等手段&#xff0c;提高基层医生的服务能力构建和…
阅读更多...
Python中的继承：概念、用法与示例

Python中的继承：概念、用法与示例

目录 一、引言 二、继承的概念 三、继承的用法 1、继承父类的属性和方法 2、添加新的属性和方法 3、覆盖父类的方法 四、示例代码展示 五、继承中的多态性 六、继承中的封装和抽象 七、继承中的多重继承 总结 一、引言 面向对象编程&#xff08;OOP&#xff09;是一…
阅读更多...
EtherCAT FP介绍系列文章—SuperSet ENI

EtherCAT FP介绍系列文章—SuperSet ENI

SuperSet ENI EtherCAT主站的主要任务是对网络进行初始化操作和处理所有设备的状态机、过程数据以及为EtherCAT主站应用和从站应用之间的参数交换提供非循环访问机制。 然而&#xff0c;主站本身不收集初始化列表和循环指令的信息。而是通过标准的网络配置逻辑完成的。在通常…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023