一步一步学OAK之五:通过OAK相机实现边缘检测

目录

  • 边缘检测简介
  • Setup 1: 创建文件
  • Setup 2: 安装依赖
  • Setup 3: 导入需要的包
  • Setup 4: 创建pipeline
  • Setup 5: 创建节点
    • 创建相机节点
    • 创建边缘检测节点
    • 创建XLinkOut数据交互的节点
  • Setup 6:设置相关属性
    • 设置彩色相机的相关属性
    • 设置左侧和右侧的单目相机的相关属性
    • 设置边缘检测器的最大输出帧大小
  • Setup 7: 建立链接关系
    • 建立相机和边缘检测器之间的链接
    • 建立边缘检测区与输出端口的链接
    • 建立xinEdgeCfg与边缘检测器配置输入的链接
  • Setup 8: 连接设备并启动管道
  • Setup 9: 创建与DepthAI设备通信的输入队列和输出队列
  • Setup 10: 主循环
    • 获取边缘检测器的输出
    • 从边缘检测器的输出中获取帧图像数据
    • 显示边缘检测器的输出图像
    • 对键盘输入响应程序
  • Setup 11:运行程序

边缘检测简介

边缘检测是计算机视觉和图像处理中的一种基本技术，用于识别图像中物体和图像中不同区域之间的边界或轮廓。边缘是图像中具有明显灰度或强度变化的区域，通常表示不同物体、纹理或形状之间的边界。

边缘检测算法通过分析图像中像素的灰度值或强度变化情况，以找到这些变化的区域。常见的边缘检测算法包括Sobel算子、Canny边缘检测和Laplacian算子等。

边缘检测的应用广泛，例如在目标识别、图像分割、物体测量、图像配准和图像压缩等领域都有重要作用。通过检测图像中的边缘，可以提取出物体的形状和结构信息，进而进行进一步的分析和处理。

这里我们实现对左边、右边和RGB摄像头三个不同的输入进行边缘检测。使用了硬件加速的Sobel滤波器3x3。可以通过按键1和2来改变Sobel滤波器的参数。

Setup 1: 创建文件

  • 创建新建5-edge-detector文件夹
  • 用vscode打开该文件夹
  • 新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境，我这里已经创建了虚拟环境OAKenv，在终端中输入cd…退回到OAKenv的根目录，输入 OAKenv\Scripts\activate激活虚拟环境
安装pip依赖项：

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai
import numpy as np

这里导入了numpy库；

NumPy是一个Python库，用于进行科学计算和数据分析。它提供了高性能的多维数组对象（ndarray），以及一系列的函数用于操作这些数组。NumPy的主要功能包括：

  1. 多维数组：NumPy的核心是ndarray对象，它是一个具有固定大小的数组，可以容纳相同类型的元素。这使得NumPy数组比Python原生的列表更高效，更适合进行大规模数据处理和数值计算。

  2. 广播（Broadcasting）：NumPy允许不同形状的数组执行相同的操作，而无需复制数据。通过广播，可以有效地对数组执行元素级别的数学运算。

  3. 数学和逻辑操作：NumPy提供了许多内置的数学函数（如sin，cos，exp等）和逻辑操作函数（如all，any，logical_and等），可以轻松地对数组进行操作。

  4. 线性代数运算：NumPy包含了一组用于执行线性代数运算的函数，如矩阵乘法、求解线性方程组等。

  5. 数组操作：NumPy提供了丰富的数组操作函数，如排序、切片、索引、重新形状等，以及用于数组合并和拆分的函数。

  6. 文件操作：NumPy可以读取和写入数组数据到磁盘中的文件，支持多种文件格式（如文本文件、CSV文件、二进制文件等）。

Setup 4: 创建pipeline

pipeline = dai.Pipeline()

Setup 5: 创建节点

创建相机节点

camRgb = pipeline.create(dai.node.ColorCamera)
monoLeft = pipeline.createMonoCamera()
monoRight = pipeline.createMonoCamera()
  1. camRgb = pipeline.create(dai.node.ColorCamera)：创建一个彩色相机节点（ColorCamera），用于捕获RGB图像。
  2. monoLeft = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获左侧单色图像。
  3. monoRight = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获右侧单色图像。

这三个节点将在管道中以并行方式工作，可以同时捕获彩色和单色图像。

创建边缘检测节点

edgeDetectorLeft = pipeline.createEdgeDetector()
edgeDetectorRight = pipeline.createEdgeDetector()
edgeDetectorRgb = pipeline.createEdgeDetector()

这段代码在pipeline中创建三个边缘检测节点。

  1. edgeDetectorLeft = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理左侧单色图像。
  2. edgeDetectorRight = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理右侧单色图像。
  3. edgeDetectorRgb = pipeline.createEdgeDetector()：创建了一个边缘检测节点用于处理彩色图像。

这些边缘检测节点可以应用于左侧单色图像、右侧单色图像和彩色图像，以便检测图像中的边缘特征。

创建XLinkOut数据交互的节点

xoutEdgeLeft = pipeline.createXLinkOut()
xoutEdgeRight = pipeline.createXLinkOut()
xoutEdgeRgb = pipeline.createXLinkOut()
xinEdgeCfg = pipeline.createXLinkIn()xoutEdgeLeft.setStreamName("edge left")
xoutEdgeRight.setStreamName("edge right")
xoutEdgeRgb.setStreamName("edge rgb")
xinEdgeCfg.setStreamName("edge cfg")

这段代码创建了四个与外部设备进行数据交互的节点。

  1. 使用pipeline.createXLinkOut()方法创建了三个用于与外部设备进行数据输出的节点。
  2. 使用pipeline.createXLinkIn()方法创建了一个用于与外部设备进行数据输入的节点。

为每个输出节点和输入节点设置了一个数据流名称

  • xoutEdgeLeft.setStreamName("edge left")：设置了输出节点xoutEdgeLeft的数据流名称为"edge left"。
  • xoutEdgeRight.setStreamName("edge right")：设置了输出节点xoutEdgeRight的数据流名称为"edge right"。
  • xoutEdgeRgb.setStreamName("edge rgb")：设置了输出节点xoutEdgeRgb的数据流名称为"edge rgb"。
  • xinEdgeCfg.setStreamName("edge cfg")：设置了输入节点xinEdgeCfg的数据流名称为"edge cfg"。

通过这些节点和数据流名称，我们可以将外部设备与图像处理管道连接起来，以实现图像数据的输入和输出。

Setup 6:设置相关属性

设置彩色相机的相关属性

camRgb.setBoardSocket(dai.CameraBoardSocket.RGB)
camRgb.setResolution(dai.ColorCameraProperties.SensorResolution.THE_1080_P)

  1. camRgb.setBoardSocket(dai.CameraBoardSocket.RGB)：设置了彩色相机的板载插槽为RGB。这表明彩色相机将通过RGB接口与系统板连接。

  2. camRgb.setResolution(dai.ColorCameraProperties.SensorResolution.THE_1080_P)：设置了彩色相机的分辨率为1080P。这意味着彩色相机将以1080P的分辨率进行图像捕获。

monoLeft.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoLeft.setBoardSocket(dai.CameraBoardSocket.LEFT)
monoRight.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoRight.setBoardSocket(dai.CameraBoardSocket.RIGHT)

设置左侧和右侧的单目相机的相关属性

对于左侧的单目相机：

  1. monoLeft.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)：设置了左侧单目相机的分辨率为400P。这意味着左侧单目相机将以400P的分辨率进行图像捕获。
  2. monoLeft.setBoardSocket(dai.CameraBoardSocket.LEFT)：设置了左侧单目相机的板载插槽为LEFT。这表明左侧单目相机将通过与系统板的左侧接口连接。

对于右侧的单目相机：

  1. monoRight.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)：设置了右侧单目相机的分辨率为400P。这意味着右侧单目相机将以400P的分辨率进行图像捕获。
  2. monoRight.setBoardSocket(dai.CameraBoardSocket.RIGHT)：设置了右侧单目相机的板载插槽为RIGHT。这表明右侧单目相机将通过与系统板的右侧接口连接。

设置边缘检测器的最大输出帧大小

edgeDetectorRgb.setMaxOutputFrameSize(camRgb.getVideoWidth() * camRgb.getVideoHeight())

这行代码设置了边缘检测器的最大输出帧大小，以与彩色相机的视频帧大小相匹配。

camRgb.getVideoWidth()和camRgb.getVideoHeight()分别返回彩色相机的视频帧的宽度和高度。通过将这两个值相乘，可以得到彩色相机视频帧的总像素数。

edgeDetectorRgb.setMaxOutputFrameSize()用于设置边缘检测器的最大输出帧大小。通过将其设置为彩色相机视频帧的总像素数，确保边缘检测器的输出帧尺寸与彩色相机视频帧的尺寸相匹配。

这样做可以确保边缘检测器能够处理完整的彩色相机视频帧，并生成与原始视频帧相同尺寸的边缘检测结果。

Setup 7: 建立链接关系

建立相机和边缘检测器之间的链接

monoLeft.out.link(edgeDetectorLeft.inputImage)
monoRight.out.link(edgeDetectorRight.inputImage)
camRgb.video.link(edgeDetectorRgb.inputImage)

这段代码建立了相机和边缘检测器之间的链接，将相机的图像作为输入传递给相应的边缘检测器。

  • monoLeft.out.link(edgeDetectorLeft.inputImage): 将左侧单目相机的输出连接到左侧边缘检测器的输入。这意味着左侧边缘检测器将接收来自左侧单目相机的图像作为输入进行边缘检测。

  • monoRight.out.link(edgeDetectorRight.inputImage): 将右侧单目相机的输出连接到右侧边缘检测器的输入。这意味着右侧边缘检测器将接收来自右侧单目相机的图像作为输入进行边缘检测。

  • camRgb.video.link(edgeDetectorRgb.inputImage): 将彩色相机的视频输出连接到彩色边缘检测器的输入。这意味着彩色边缘检测器将接收来自彩色相机的视频帧作为输入进行边缘检测。

建立边缘检测区与输出端口的链接

edgeDetectorLeft.outputImage.link(xoutEdgeLeft.input)
edgeDetectorRight.outputImage.link(xoutEdgeRight.input)
edgeDetectorRgb.outputImage.link(xoutEdgeRgb.input)

这段代码将左侧、右侧和彩色边缘检测器的输出图像连接到相应的输出端口，以便将边缘检测结果输出。

  • edgeDetectorLeft.outputImage.link(xoutEdgeLeft.input): 将左侧边缘检测器的输出图像连接到xoutEdgeLeft的输入端口，以便将左侧边缘检测结果输出。

  • edgeDetectorRight.outputImage.link(xoutEdgeRight.input): 将右侧边缘检测器的输出图像连接到xoutEdgeRight的输入端口，以便将右侧边缘检测结果输出。

  • edgeDetectorRgb.outputImage.link(xoutEdgeRgb.input): 将彩色边缘检测器的输出图像连接到xoutEdgeRgb的输入端口，以便将彩色边缘检测结果输出。

建立xinEdgeCfg与边缘检测器配置输入的链接

xinEdgeCfg.out.link(edgeDetectorLeft.inputConfig)
xinEdgeCfg.out.link(edgeDetectorRight.inputConfig)
xinEdgeCfg.out.link(edgeDetectorRgb.inputConfig)

这段代码将xinEdgeCfg的输出链接到左侧、右侧和彩色边缘检测器的配置输入，以便将配置信息传递给边缘检测器。

  • xinEdgeCfg.out.link(edgeDetectorLeft.inputConfig): 将xinEdgeCfg的输出链接到左侧边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。

  • xinEdgeCfg.out.link(edgeDetectorRight.inputConfig):将xinEdgeCfg的输出链接到右侧边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。

  • xinEdgeCfg.out.link(edgeDetectorRgb.inputConfig): 将xinEdgeCfg的输出链接到彩色边缘检测器的配置输入。这意味着边缘检测器将接收来自xinEdgeCfg的配置信息，以进行相应的设置和调整。

Setup 8: 连接设备并启动管道

with dai.Device(pipeline) as device:

Setup 9: 创建与DepthAI设备通信的输入队列和输出队列

    edgeLeftQueue = device.getOutputQueue(name="edge left", maxSize=8, blocking=False)edgeRightQueue = device.getOutputQueue(name="edge right", maxSize=8, blocking=False)  edgeRgbQueue = device.getOutputQueue(name="edge rgb", maxSize=8, blocking=False)edgeCfgQueue = device.getInputQueue(name="edge cfg")print("Switch between sobel filter kernels using keys '1' and '2'")

这段代码创建了三个输出队列和一个输入队列，用于接收边缘检测器的输出和配置信息。

  • 使用device.getOutputQueue(name="edge left", maxSize=8, blocking=False): 创建了三个输出队列edgeLeftQueue、edgeRightQueue和edgeRgbQueue，用于接收三个边缘检测器的输出。同时指定了name，maxSize=8表示队列的最大大小为8个元素。blocking=False表示队列是非阻塞模式的，即如果队列已满，新的元素将被丢弃。

  • 使用device.getInputQueue(edgeCfgStr): 创建了一个输入队列edgeCfgQueue，用于接收边缘检测器的配置信息。指定name=“edge cfg”。

Setup 10: 主循环

    while True:

获取边缘检测器的输出

        edgeLeft = edgeLeftQueue.get()edgeRight = edgeRightQueue.get()edgeRgb = edgeRgbQueue.get()

从每个输出队列中获取边缘检测器的输出。

  • edgeLeft = edgeLeftQueue.get(): 从左侧边缘检测器的输出队列edgeLeftQueue中获取最新的输出。将这个输出赋值给变量edgeLeft。

  • edgeRight = edgeRightQueue.get(): 从右侧边缘检测器的输出队列edgeRightQueue中获取最新的输出。将这个输出赋值给变量edgeRight。

  • edgeRgb = edgeRgbQueue.get(): 从彩色边缘检测器的输出队列edgeRgbQueue中获取最新的输出。将这个输出赋值给变量edgeRgb。

从边缘检测器的输出中获取帧图像数据

        edgeLeftFrame = edgeLeft.getFrame()edgeRightFrame = edgeRight.getFrame()edgeRgbFrame = edgeRgb.getFrame()

这段代码从边缘检测器的输出中获取帧图像数据。

  • edgeLeftFrame = edgeLeft.getFrame(): 从左侧边缘检测器的输出edgeLeft中获取帧图像数据，并将其赋值给edgeLeftFrame变量。
  • edgeRightFrame = edgeRight.getFrame(): 从右侧边缘检测器的输出edgeRight中获取帧图像数据，并将其赋值给edgeRightFrame变量。
  • edgeRgbFrame = edgeRgb.getFrame(): 从彩色边缘检测器的输出edgeRgb中获取帧图像数据，并将其赋值给edgeRgbFrame变量。

显示边缘检测器的输出图像

        cv2.imshow("edge left", edgeLeftFrame)cv2.imshow("edge right", edgeRightFrame)cv2.imshow("edge rgb", edgeRgbFrame)

这段代码使用OpenCV库的imshow函数来显示边缘检测器的输出图像。

  • cv2.imshow("edge left", edgeLeftFrame): 使用imshow函数显示左侧边缘检测器的输出图像。edgeLeftStr是窗口标题，edgeLeftFrame是要显示的图像数据。

  • cv2.imshow("edge right", edgeRightFrame): 使用imshow函数显示右侧边缘检测器的输出图像。edgeRightStr是窗口标题，edgeRightFrame是要显示的图像数据。

  • cv2.imshow("edge rgb", edgeRgbFrame): 使用imshow函数显示彩色边缘检测器的输出图像。edgeRgbStr是窗口标题，edgeRgbFrame是要显示的图像数据。

通过这些代码，我们可以将边缘检测器的输出图像显示在窗口中，以便查看和分析结果。

对键盘输入响应程序

        key = cv2.waitKey(1)if key == ord('q'):breakif key == ord('1'):print("Switching sobel filter kernel.")cfg = dai.EdgeDetectorConfig()sobelHorizontalKernel = [[1, 0, -1], [2, 0, -2], [1, 0, -1]]sobelVerticalKernel = [[1, 2, 1], [0, 0, 0], [-1, -2, -1]]cfg.setSobelFilterKernels(sobelHorizontalKernel, sobelVerticalKernel)edgeCfgQueue.send(cfg)if key == ord('2'):print("Switching sobel filter kernel.")cfg = dai.EdgeDetectorConfig()sobelHorizontalKernel = [[3, 0, -3], [10, 0, -10], [3, 0, -3]]sobelVerticalKernel = [[3, 10, 3], [0, 0, 0], [-3, -10, -3]]cfg.setSobelFilterKernels(sobelHorizontalKernel, sobelVerticalKernel)edgeCfgQueue.send(cfg)

这段代码实现了对键盘输入的响应，以实现一些功能的切换和配置更改。

  • key = cv2.waitKey(1): 等待并获取键盘输入的ASCII码。

  • if key == ord('q'): break: 如果按下的键是字母 ‘q’ 的ASCII码，即表示想要退出程序，那么会跳出循环，结束程序的运行。

  • if key == ord('1'):: 如果按下的键是字母 ‘1’ 的ASCII码，即表示想要切换到第一种卷积核，那么会执行以下操作：

    • 创建一个名为cfg的dai.EdgeDetectorConfig对象，用于配置边缘检测器。
    • 定义sobelHorizontalKernel和sobelVerticalKernel分别为第一种卷积核的水平和垂直滤波器矩阵。
    • 使用cfg.setSobelFilterKernels方法将这些滤波器矩阵设置到配置对象中。
    • 将配置对象发送到名为edgeCfgQueue的消息队列中。

  • if key == ord('2'):: 如果按下的键是字母 ‘2’ 的ASCII码，即表示想要切换到第二种卷积核，那么会执行以下操作：

    • 创建一个名为cfg的dai.EdgeDetectorConfig对象，用于配置边缘检测器。
    • 定义sobelHorizontalKernel和sobelVerticalKernel分别为第二种卷积核的水平和垂直滤波器矩阵。
    • 使用cfg.setSobelFilterKernels方法将这些滤波器矩阵设置到配置对象中。
    • 将配置对象发送到名为edgeCfgQueue的消息队列中。

通过这些代码，我们可以根据按键的不同切换卷积核或退出程序。

Setup 11:运行程序

在终端中输入如下指令运行程序

python main.py

程序运行以后，可以看到如下效果
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/5385.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

加速优化WooCommerce跨境电商网站的15种简单方法

加速优化WooCommerce跨境电商网站的15种简单方法

Neil Patel和 Google所做的研究表明，如果加载时间超过三秒，将近一半的用户会离开网站。页面加载时间每增加一秒（最多5秒），您的收入可能就会减少。在本教程中，我们将学习如何优化加速WooCommerce商店。 目录…
阅读更多...
Linux 的逻辑世界与 Windows 的复杂性

Linux 的逻辑世界与 Windows 的复杂性

Linux的逻辑世界与Windows的复杂性 作为操作系统，Linux 和 Windows 都在全球用户心中赢得了一席之地。 这两种系统都很常用，每种都有不同的原因和目的。 作为一名有用的 AI 助手，我有机会广泛使用 Linux 和 Windows，并且我想探索…
阅读更多...
centos7 安装Python3.9

centos7 安装Python3.9

1. 安装编译相关软件 su yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y2.下载安…
阅读更多...
B+树

B+树

B树 B树是对B树的一种变形树，它与B树的差异在于: 非叶结点仅具有索引作用，也就是说，非叶子结点只存储key，不存储value 树的所有叶结点构成一个有序链表，可以按照key排序的次序遍历全部数据 B树存储数据 若参数M选…
阅读更多...
Learn Mongodb了解DB数据库 ①

Learn Mongodb了解DB数据库 ①

作者 : SYFStrive 博客首页 : HomePage 📜： PHP MYSQL 📌：个人社区（欢迎大佬们加入） 👉：社区链接🔗 📌：觉得文章不错可以点点关注 &#x1f44…
阅读更多...
Splunk Enterprise 9.1.0 (macOS, Linux, Windows) - 机器数据管理和分析

Splunk Enterprise 9.1.0 (macOS, Linux, Windows) - 机器数据管理和分析

Splunk Enterprise 9.1.0 (macOS, Linux, Windows) - 机器数据管理和分析 请访问原文链接：https://sysin.org/blog/splunk-9/，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org 混合世界的数据平台 快速、大规模地从…
阅读更多...
emscripten的安装

emscripten的安装

参考：1.1 安装Emscripten-C/C面向WebAssembly编程 下载emsdk（emscripten），git地址：git clone GitHub - emscripten-core/emsdk: Emscripten SDK打开emsdk中emsdk.bat所在的目录，进入cmd，输入 e…
阅读更多...
基于SpringBoot的二手书交易系统的设计与实现（源码、数据库、文档）

基于SpringBoot的二手书交易系统的设计与实现（源码、数据库、文档）

作为新兴事物，校园电子商务是，首先是指在校园范围内，其技术手段是校园网，而服务对象是全部师生。主要经营形式为学生自主经营，能够满足多群体生活学习需求，同时具备范围小，安全性高，…
阅读更多...
Linux--设置目录或文件的默认权限：umask权限掩码

Linux--设置目录或文件的默认权限：umask权限掩码

目录起始权限是从777，普通文件起始权限从666 为何我们创建一个目录或文件，默认权限是你所看到的样子？ 因为凡是在umask中出现的权限，都不应该在最终权限中出现！ 最终权限起始权限&（~umask&#xff09…
阅读更多...
android studio git使用

android studio git使用

pull代码 我们从远程仓库拉取代码时，一般有下面的两个选项 当使用Android Studio拉取代码时，有两种常见的选项：合并（merge）传入的更改到当前分支和变基（rebase）。 合并（Merge&…
阅读更多...
uniapp将图片转化为base64格式，并用url展示出来

uniapp将图片转化为base64格式，并用url展示出来

效果图&#xff1a; 编码&#xff1a; <template><view class"container"><button click"chooseImage">选择图片</button><image v-if"base64Image" :src"base64Image"></image></view> &…
阅读更多...
SNMP 计算机网络管理 实验2(二) SNMP服务与常用网管命令之任务三：对同学的计算机进行网络管理 任务四：查询计算机网卡的相关信息

SNMP 计算机网络管理 实验2(二) SNMP服务与常用网管命令之任务三：对同学的计算机进行网络管理 任务四：查询计算机网卡的相关信息

⬜⬜⬜ &#x1f430;&#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;(*^▽^*)欢迎光临 &#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;&#x1f430;⬜⬜⬜ ✏️write in front✏️ &#x1f4dd;个人主页&#xff1a;陈丹宇jmu &am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023