【opencv】示例-stereo_match.cpp 立体匹配：通过对左右视图图像进行处理来生成视差图和点云数据...

6dab1feafff1872424f8ab336146169c.png

/**  stereo_match.cpp*  calibration**  创建者 Victor Eruhimov，日期为 2010年1月18日。*  版权所有 2010 Argus Corp.**/#include "opencv2/calib3d/calib3d.hpp" // 导入OpenCV相机标定和三维重建相关的头文件
#include "opencv2/imgproc.hpp" // 导入OpenCV图像处理相关的头文件
#include "opencv2/imgcodecs.hpp" // 导入OpenCV图像编解码相关的头文件
#include "opencv2/highgui.hpp" // 导入OpenCV高层GUI(图形界面)相关的头文件
#include "opencv2/core/utility.hpp" // 导入OpenCV核心工具(utility)模块的头文件#include <stdio.h> // 导入C标准输入输出头文件
#include <sstream> // 导入C++字符串流处理头文件using namespace cv; // 使用OpenCV的命名空间// 声明了print_help函数，用于显示帮助信息
static void print_help(char** argv)
{// 打印使用demo时的帮助信息printf("\nDemo stereo matching converting L and R images into disparity and point clouds\n");// 打印程序使用方式的说明printf("\nUsage: %s <left_image> <right_image> [--algorithm=bm|sgbm|hh|hh4|sgbm3way] [--blocksize=<block_size>]\n""[--max-disparity=<max_disparity>] [--scale=scale_factor>] [-i=<intrinsic_filename>] [-e=<extrinsic_filename>]\n""[--no-display] [--color] [-o=<disparity_image>] [-p=<point_cloud_file>]\n", argv[0]);
}// 声明了saveXYZ函数，用于将三维点云数据保存到文件
static void saveXYZ(const char* filename, const Mat& mat)
{// 设置三维点深度的最大值const double max_z = 1.0e4;// 以文本写入方式打开文件FILE* fp = fopen(filename, "wt");// 遍历图像的每个像素点for(int y = 0; y < mat.rows; y++){for(int x = 0; x < mat.cols; x++){// 读取每个像素点的三维坐标Vec3f point = mat.at<Vec3f>(y, x);// 如果该点的Z坐标无效，则忽略此点if(fabs(point[2] - max_z) < FLT_EPSILON || fabs(point[2]) > max_z) continue;// 将有效的三维坐标写入到文件中fprintf(fp, "%f %f %f\n", point[0], point[1], point[2]);}}// 关闭文件fclose(fp);
}int main(int argc, char** argv)
{// 定义了一系列的字符串变量用来存储命令行参数std::string img1_filename = "";std::string img2_filename = "";std::string intrinsic_filename = "";std::string extrinsic_filename = "";std::string disparity_filename = "";std::string point_cloud_filename = "";// 定义了枚举类型，列出了所有双目算法enum { STEREO_BM=0, STEREO_SGBM=1, STEREO_HH=2, STEREO_VAR=3, STEREO_3WAY=4, STEREO_HH4=5 };int alg = STEREO_SGBM; // 默认使用STEREO_SGBM算法int SADWindowSize, numberOfDisparities; // 定义了SAD窗口大小和视差的数量bool no_display; // 定义了是否显示结果的标志位bool color_display; // 定义了是否彩色显示视差图的标志位float scale; // 定义了缩放因子// 创建两种双目匹配算法实例对象：StereoBM和StereoSGBMPtr<StereoBM> bm = StereoBM::create(16,9);Ptr<StereoSGBM> sgbm = StereoSGBM::create(0,16,3);// 使用命令行解析器解析参数cv::CommandLineParser parser(argc, argv,"{@arg1||}{@arg2||}{help h||}{algorithm||}{max-disparity|0|}{blocksize|0|}{no-display||}{color||}{scale|1|}{i||}{e||}{o||}{p||}");// 如果用户请求帮助，则调用print_help函数并退出if(parser.has("help")){print_help(argv);return 0;}// 获取命令行中指定的左右图像文件名img1_filename = samples::findFile(parser.get<std::string>(0));img2_filename = samples::findFile(parser.get<std::string>(1));// 解析算法参数if (parser.has("algorithm")){std::string _alg = parser.get<std::string>("algorithm");alg = _alg == "bm" ? STEREO_BM :_alg == "sgbm" ? STEREO_SGBM :_alg == "hh" ? STEREO_HH :_alg == "var" ? STEREO_VAR :_alg == "hh4" ? STEREO_HH4 :_alg == "sgbm3way" ? STEREO_3WAY : -1;}// 解析其他所有需要的命令行参数numberOfDisparities = parser.get<int>("max-disparity");SADWindowSize = parser.get<int>("blocksize");scale = parser.get<float>("scale");no_display = parser.has("no-display");color_display = parser.has("color");if( parser.has("i") )intrinsic_filename = parser.get<std::string>("i");if( parser.has("e") )extrinsic_filename = parser.get<std::string>("e");if( parser.has("o") )disparity_filename = parser.get<std::string>("o");if( parser.has("p") )point_cloud_filename = parser.get<std::string>("p");// 检查解析后的参数是否正确if (!parser.check()){parser.printErrors();return 1;}// 检查算法参数是否指定正确if( alg < 0 ){printf("Command-line parameter error: Unknown stereo algorithm\n\n");print_help(argv);return -1;}// 检查视差数量设置是否正确if ( numberOfDisparities < 1 || numberOfDisparities % 16 != 0 ){printf("Command-line parameter error: The max disparity (--maxdisparity=<...>) must be a positive integer divisible by 16\n");print_help(argv);return -1;}// 检查缩放因子是否正确if (scale < 0){printf("Command-line parameter error: The scale factor (--scale=<...>) must be a positive floating-point number\n");return -1;}// 检查SAD窗口大小设置是否正确if (SADWindowSize < 1 || SADWindowSize % 2 != 1){printf("Command-line parameter error: The block size (--blocksize=<...>) must be a positive odd number\n");return -1;}// 检查是否指定了左右图像文件if( img1_filename.empty() || img2_filename.empty() ){printf("Command-line parameter error: both left and right images must be specified\n");return -1;}// 检查内参和外参是否同时指定if( (!intrinsic_filename.empty()) ^ (!extrinsic_filename.empty()) ){printf("Command-line parameter error: either both intrinsic and extrinsic parameters must be specified, or none of them (when the stereo pair is already rectified)\n");return -1;}// 检查生成点云时是否指定了内参和外参if( extrinsic_filename.empty() && !point_cloud_filename.empty() ){printf("Command-line parameter error: extrinsic and intrinsic parameters must be specified to compute the point cloud\n");return -1;}// 根据算法的不同，设置图像的加载模式int color_mode = alg == STEREO_BM ? 0 : -1;// 加载左右视图图像Mat img1 = imread(img1_filename, color_mode);Mat img2 = imread(img2_filename, color_mode);// 如果左视图图像加载失败，打印错误并退出if (img1.empty()){printf("Command-line parameter error: could not load the first input image file\n");return -1;}// 如果右视图图像加载失败，打印错误并退出if (img2.empty()){printf("Command-line parameter error: could not load the second input image file\n");return -1;}// 如果缩放系数不等于1，则对图像进行缩放if (scale != 1.f){// 定义两个临时矩阵用于存储缩放后的图像Mat temp1, temp2;// 根据scale的大小选择合适的插值方法int method = scale < 1 ? INTER_AREA : INTER_CUBIC;// 对左右图像进行缩放resize(img1, temp1, Size(), scale, scale, method);img1 = temp1;resize(img2, temp2, Size(), scale, scale, method);img2 = temp2;}// 获取缩放后的图像大小Size img_size = img1.size();// 定义两个ROI区域以及Q矩阵（用于三维重建）Rect roi1, roi2;Mat Q;// 如果内参文件名不为空，则读取内（camera）参和外（stereo）参数if( !intrinsic_filename.empty() ){// 读取内参文件FileStorage fs(intrinsic_filename, FileStorage::READ);if(!fs.isOpened()){printf("Failed to open file %s\n", intrinsic_filename.c_str());return -1;}// 读取内参矩阵和畸变系数Mat M1, D1, M2, D2;fs["M1"] >> M1;fs["D1"] >> D1;fs["M2"] >> M2;fs["D2"] >> D2;// 根据缩放因子调整内参矩阵M1 *= scale;M2 *= scale;// 读取外参文件fs.open(extrinsic_filename, FileStorage::READ);if(!fs.isOpened()){printf("Failed to open file %s\n", extrinsic_filename.c_str());return -1;}// 读取旋转矩阵和平移矩阵Mat R, T, R1, P1, R2, P2;fs["R"] >> R;fs["T"] >> T;// 对立体图像进行校正stereoRectify( M1, D1, M2, D2, img_size, R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, -1, img_size, &roi1, &roi2 );// 初始化校正映射矩阵Mat map11, map12, map21, map22;initUndistortRectifyMap(M1, D1, R1, P1, img_size, CV_16SC2, map11, map12);initUndistortRectifyMap(M2, D2, R2, P2, img_size, CV_16SC2, map21, map22);// 应用映射矩阵进行畸变校正和立体校正Mat img1r, img2r;remap(img1, img1r, map11, map12, INTER_LINEAR);remap(img2, img2r, map21, map22, INTER_LINEAR);// 更新校正后的图像img1 = img1r;img2 = img2r;}// 计算或更新视差的数量numberOfDisparities = numberOfDisparities > 0 ? numberOfDisparities : ((img_size.width/8) + 15) & -16;// 配置块匹配（Block Matching）算法的参数// 设置块匹配算法的区域兴趣（ROI），由roi1和roi2的矩形区域定义。bm->setROI1(roi1);bm->setROI2(roi2);// 设置前置滤波器的上限值用于块匹配算法。bm->setPreFilterCap(31);// 设置SAD窗口的大小，比较块大小。如果SADWindowSize变量大于0，就使用该变量的值，否则使用默认值9。bm->setBlockSize(SADWindowSize > 0 ? SADWindowSize : 9);// 设置最小视差，默认为0。bm->setMinDisparity(0);// 设置视差的数量，这里使用numberOfDisparities变量的值。bm->setNumDisparities(numberOfDisparities);// 设置纹理阈值，用于过滤掉纹理不够的区域。bm->setTextureThreshold(10);// 设置唯一性比例，用于判断最佳视差的唯一性。bm->setUniquenessRatio(15);// 设置视差连通区域变化的窗口大小，这里为100。bm->setSpeckleWindowSize(100);// 设置视差连通区域的最大视差变化范围，这里为32。bm->setSpeckleRange(32);// 设置左右视差图的最大差异，超过这个差异的视差值会被剔除。bm->setDisp12MaxDiff(1);// 配置半全局块匹配（Semi-Global Block Matching）算法的参数// 为半全局块匹配算法设置前置滤波器的上限值。sgbm->setPreFilterCap(63);// 计算SGBM算法的SAD窗口大小，如果SADWindowSize变量大于0，使用该变量的值，否则使用默认值3。int sgbmWinSize = SADWindowSize > 0 ? SADWindowSize : 3;// 设置SGBM算法的块大小。sgbm->setBlockSize(sgbmWinSize);// 根据输入图像的通道数计算常数值。int cn = img1.channels();// 设置SGBM算法的P1和P2参数，这些参数控制视差变化的平滑程度。sgbm->setP1(8*cn*sgbmWinSize*sgbmWinSize);sgbm->setP2(32*cn*sgbmWinSize*sgbmWinSize);// 设置最小视差，默认为0。sgbm->setMinDisparity(0);// 设置视差数量，这里使用numberOfDisparities变量的值。sgbm->setNumDisparities(numberOfDisparities);// 设置唯一性比例，用于判断最佳视差的唯一性。sgbm->setUniquenessRatio(10);// 设置视差连通区域变化的窗口大小，这里为100。sgbm->setSpeckleWindowSize(100);// 设置视差连通区域的最大视差变化范围，这里为32。sgbm->setSpeckleRange(32);// 设置左右视差图的最大差异，超过这个差异的视差值会被剔除。sgbm->setDisp12MaxDiff(1);// 根据选择的算法设置SGBM模式。if(alg==STEREO_HH)sgbm->setMode(StereoSGBM::MODE_HH);else if(alg==STEREO_SGBM)sgbm->setMode(StereoSGBM::MODE_SGBM);else if(alg==STEREO_HH4)sgbm->setMode(StereoSGBM::MODE_HH4);else if(alg==STEREO_3WAY)sgbm->setMode(StereoSGBM::MODE_SGBM_3WAY);Mat disp, disp8; // 定义存储视差图和转换后的8位视差图的矩阵。// 获取当前的时间刻度，用于计算视差计算的耗时。int64 t = getTickCount();float disparity_multiplier = 1.0f; // 定义视差倍数的默认值。// 根据选定的算法执行视差计算，并根据返回的数据类型设置合适的倍数。if( alg == STEREO_BM ){bm->compute(img1, img2, disp); // 使用BM算法计算视差。if (disp.type() == CV_16S)disparity_multiplier = 16.0f; // 如果视差图是16位有符号整型，则将倍数设为16。}else if( alg == STEREO_SGBM || alg == STEREO_HH || alg == STEREO_HH4 || alg == STEREO_3WAY ){sgbm->compute(img1, img2, disp); // 使用SGBM算法族计算视差。if (disp.type() == CV_16S)disparity_multiplier = 16.0f; // 如果视差图是16位有符号整型，则将倍数设为16。}t = getTickCount() - t; // 计算视差计算耗时。printf("Time elapsed: %fms\n", t*1000/getTickFrequency()); // 打印耗时信息。// 将计算出的视差图转换为8位图像以供显示或存储。if( alg != STEREO_VAR )disp.convertTo(disp8, CV_8U, 255/(numberOfDisparities*16.));elsedisp.convertTo(disp8, CV_8U);Mat disp8_3c; // 定义用于显示彩色视差图的矩阵。// 如果选项设置为显示彩色图，则对8位图像应用色彩映射。if (color_display)cv::applyColorMap(disp8, disp8_3c, COLORMAP_TURBO);// 如果指定了视差图文件名，则将视差图存储到文件中。if(!disparity_filename.empty())imwrite(disparity_filename, color_display ? disp8_3c : disp8);// 如果指定了点云文件名，则保存点云数据到文件中。if(!point_cloud_filename.empty()){printf("storing the point cloud..."); // 打印存储点云数据的信息。fflush(stdout);Mat xyz; // 定义用于存储3D坐标的矩阵。Mat floatDisp; // 定义用于存储转换后的视差图的矩阵。// 将视差图转换为浮点型，并应用视差倍数。disp.convertTo(floatDisp, CV_32F, 1.0f / disparity_multiplier);// 使用Q矩阵将视差图重投影到3D坐标。reprojectImageTo3D(floatDisp, xyz, Q, true);// 使用saveXYZ函数将3D坐标保存到指定的点云文件中。saveXYZ(point_cloud_filename.c_str(), xyz);printf("\n"); // 用于换行。}// 如果未设置不显示结果，则创建显示左、右图像和视差图的窗口。if( !no_display ){std::ostringstream oss; // 使用字符串流构建显示的标题。oss << "disparity  " << (alg==STEREO_BM ? "bm" :alg==STEREO_SGBM ? "sgbm" :alg==STEREO_HH ? "hh" :alg==STEREO_VAR ? "var" :alg==STEREO_HH4 ? "hh4" :alg==STEREO_3WAY ? "sgbm3way" : "");oss << "  blocksize:" << (alg==STEREO_BM ? SADWindowSize : sgbmWinSize);oss << "  max-disparity:" << numberOfDisparities;std::string disp_name = oss.str(); // 从流中获取构建好的标题字符串。// 创建并显示图像窗口。namedWindow("left", cv::WINDOW_NORMAL);imshow("left", img1);namedWindow("right", cv::WINDOW_NORMAL);imshow("right", img2);namedWindow(disp_name, cv::WINDOW_AUTOSIZE);imshow(disp_name, color_display ? disp8_3c : disp8);printf("press ESC key or CTRL+C to close..."); // 提示用户如何关闭窗口。fflush(stdout);printf("\n"); // 用于换行。while(1) // 循环等待用户按键操作。{if(waitKey() == 27) // 如果用户按下ESC键，则退出循环。break;}}return 0; // 正常结束程序。
}
enum { STEREO_BM=0, STEREO_SGBM=1, STEREO_HH=2, STEREO_VAR=3, STEREO_3WAY=4, STEREO_HH4=5 };

eee9983d057c4435d686bdd70a1ed1a0.png

什么是视差图

047eaa55d1d5a937e9f132be4e8b94b2.png

在计算视差图时，遮挡或缺乏纹理的区域会有什么表现？

80a6ba14b4ec5b53a1a8544950ab7e0c.png

SGBM算法是如何处理遮挡和纹理缺失问题的？

dfda5f1553c44ce2ba3e5b2579ce68a8.png

stereoRectify( M1, D1, M2, D2, img_size, R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, -1, img_size, &roi1, &roi2 );

ad562c68f29003be64cc0a514ba3d61a.png

这个函数的主要目的是通过计算两个矫正映射，让来自两个摄像头的图像在水平方向上对准，简化立体匹配的复杂性，提高计算效率和质量。正确定位了坐标对齐后，图像中对应的点就可以直接在同一行上进行匹配，使得视差计算更加准确和便捷。

reprojectImageTo3D(floatDisp, xyz, Q, true);

4ea77b4642d82c12b3a8a8e8a681ec64.png

909e0a4a1f6e42d87acfbc5ae52636ca.png

这个函数中的投影变换矩阵Q是如何计算得到的？

d2f0f6c5139b1cc22e7d7909a667fc72.png

The End

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/618836.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

您与此网站之间建立的连接不安全

您与此网站之间建立的连接不安全

正如标题一样&#xff0c;打开的网站地址栏显示&#xff1a;如果你使用浏览器提示您与此网站之间建立的连接不安全、与此站点的连接不安全、网站非安全连接等类似提示。 是因为网站采取的是http地址协议&#xff0c;这种协议有一种缺点&#xff0c;当您常使用的网站出现上述提示…
阅读更多...
ASP.NET基于BS的图书销售管理系统的设计与实现

ASP.NET基于BS的图书销售管理系统的设计与实现

随着Internet的兴起&#xff0c;网络已经成为现代人生活中的一部分&#xff0c;越来越多的人喜欢在网上交易。本系统就是一个基于B/S模式的网络化的图书销售管理系统,采用的是ASP.NET技术&#xff0c;实现了用户注册信息管理、用户信息管理、图书销售点管理、图书信息管理、客户…
阅读更多...
8. Spring Boot 配置文件

8. Spring Boot 配置文件

源码地址&#xff1a;SpringBoot_demo 本篇文章内容源码位于上述地址的com/chenshu/springboot_demo/config包下 1. 配置文件是什么 上节说到&#xff0c;Spring Boot的项目分为三个部分&#xff1a;源代码目录、资源目录、单元测试目录。 而配置文件的位置就位于资源目录res…
阅读更多...
科技助力输电线安全隐患预警，基于YOLOv8全系列【n/s/m/l/x】参数模型开发构建电力设备场景下输电线安全隐患目标检测预警系统

科技助力输电线安全隐患预警，基于YOLOv8全系列【n/s/m/l/x】参数模型开发构建电力设备场景下输电线安全隐患目标检测预警系统

电力的普及让我们的生活变得更加便利&#xff0c;四通八达的电网连接着生活的方方面面&#xff0c;电力能源主要是依托于庞大复杂的电网电力设备进行传输的&#xff0c;有效地保障电网场景下输电线的安全对于保障我们日常生活所需要的电力有着重要的意义&#xff0c;但是电力设…
阅读更多...
宝塔面板Docker+Uwsgi+Nginx+SSL部署Django项目

宝塔面板Docker+Uwsgi+Nginx+SSL部署Django项目

这次为大家带来的是从零开始搭建一个django项目并将它部署到linux服务器上。大家可以按照我的步骤一步步操作&#xff0c;最终可以完成部署。 步骤1&#xff1a;在某个文件夹中创建一个django项目 安装django pip install django创建一个django项目将其命名为djangoProject …
阅读更多...
再写-全景拼接

再写-全景拼接

全景拼接 1. 将读取进行灰度转化&#xff0c;并且输出图像&#xff0c;关键点和计算描述 import cv2 import numpy as np# 将读取进行灰度转化&#xff0c;并且输出图像&#xff0c;关键点和计算描述 image_left cv2.imread("C:\\Users\\HONOR\\Desktop\\image\\pinjie…
阅读更多...
微信登录功能-保姆级教学

微信登录功能-保姆级教学

目录 一、使用组件 二、登录功能 2.1 步骤 2.2 首先找到网页权限 复制demo 代码 这里我们需要修改两个参数 三、前端代码 3.1 api 里weiXinApi.ts 3.2 api里的 index.ts 3.3 pinia.ts 3.4 My.vue 四、后端代码 4.1 WeiXinController 4.2 Access_Token.Java 4.3 We…
阅读更多...
1027: 舞伴问题

1027: 舞伴问题

解法&#xff1a; #include<iostream> #include<vector> using namespace std; int main() {int n, m, k;cin >> n;vector<char> man(n);for (int i 0; i < n; i) cin >> man[i];cin >> m;vector<char> woman(m);for (int i 0…
阅读更多...
实现 .NET 8 部署到 Docker

实现 .NET 8 部署到 Docker

一、前言 本文仅针对操作系统为 CentOS 8 的环境下部署方法进行讲述。如有需要，后续将在其他文章中进行其他系统下的部署方式讲解。 二、准备工作 确保服务器已安装 docker。 可以通过命令 docker -v 进行检查，如出现下图结果则表示已安装。 代码准备 在代码项目名称上右键…
阅读更多...
设计模式学习笔记 - 设计模式与范式 -行为型：17.中介模式：什么时候用中介模式？什么时候用观察者模式？

设计模式学习笔记 - 设计模式与范式 -行为型：17.中介模式：什么时候用中介模式？什么时候用观察者模式？

概述 本章学习 23 种经典设计模式中的最后一个设计模式&#xff0c;中介模式。和之前讲过的命令模式、解释器模式类似&#xff0c;中介模式也不怎么常用&#xff0c;应用场景比较特殊、有限&#xff0c;但是&#xff0c;跟它俩不同的是&#xff0c;中介模式理解起来并不难&…
阅读更多...
Python程序设计 二维列表

Python程序设计 二维列表

教学案例九 二维列表 1. 成绩文件的读取 score.csv文件中记录了多门同学的编号、姓名和三门功课的成绩(逗号键分隔) 格式如下 编写程序&#xff0c;将文件score.csv文件中的数据放入二维列表cjlb中(注意&#xff1a;语文、数学、英语成绩要转换为数值类型) f1open("lbk…
阅读更多...
PyQt5

PyQt5

Qt是基于C实现的GUI,而PyQt就是用python调用Qt. PyQt中有很多的功能模块,开发最常用的模块功能主要有3个 1) QtCore:包含核心的非GHI的功能,主要和时间,文件与文件夹,各种数据,流,URLs,进程与线程一起使用 2) QtGUi:包含窗口系统,事件处理,2D图像,基本绘画,字体和文字类 3)…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023