使用 Python 的高效相机流

一、说明

        让我们谈谈在Python中使用网络摄像头。我有一个简单的任务，从相机读取帧，并在每一帧上运行神经网络。对于一个特定的网络摄像头，我在设置目标 fps 时遇到了问题（正如我现在所理解的——因为相机可以用 mjpeg 格式运行 30 fps，但不能运行原始），所以我决定深入研究 FFmpeg 看看它是否有帮助。

二、OpenCV和FFmpeg两个选项

        我最终让OpenCV和FFmpeg都工作了，但我发现了一件非常有趣的事情：FFmpeg性能优于OpenCV是我的主要用例。事实上，使用 FFmpeg，我读取帧的速度提高了 15 倍，整个管道的加速提高了 32%。我简直不敢相信结果，并多次重新检查了所有内容，但它们是一致的。

        注意：当我只是一帧一帧地读取时，性能完全相同，但是当我在读取帧后运行某些内容时，FFmpeg 速度更快（这需要时间）。我将在下面确切地说明我的意思。

2.1 openCV的代码实现

        现在，让我们看一下代码。首先 — 使用 OpenCV 读取网络摄像头帧的类：

class VideoStreamCV:def __init__(self, src: int, fps: int, resolution: Tuple[int, int]):self.src = srcself.fps = fpsself.resolution = resolutionself.cap = self._open_camera()self.wait_for_cam()def _open_camera(self):cap = cv2.VideoCapture(self.src)cap.set(cv2.CAP_PROP_FRAME_WIDTH, self.resolution[0])cap.set(cv2.CAP_PROP_FRAME_HEIGHT, self.resolution[1])fourcc = cv2.VideoWriter_fourcc(*"MJPG")cap.set(cv2.CAP_PROP_FOURCC, fourcc)cap.set(cv2.CAP_PROP_FPS, self.fps)return capdef read(self):ret, frame = self.cap.read()if not ret:return Nonereturn framedef release(self):self.cap.release()def wait_for_cam(self):for _ in range(30):frame = self.read()if frame is not None:return Truereturn False

2.2 使用FFmpeg

  我使用功能，因为相机通常需要时间“热身”。FFmpeg 类使用相同的预热：wait_for_cam

class VideoStreamFFmpeg:def __init__(self, src: int, fps: int, resolution: Tuple[int, int]):self.src = srcself.fps = fpsself.resolution = resolutionself.pipe = self._open_ffmpeg()self.frame_shape = (self.resolution[1], self.resolution[0], 3)self.frame_size = np.prod(self.frame_shape)self.wait_for_cam()def _open_ffmpeg(self):os_name = platform.system()if os_name == "Darwin":  # macOSinput_format = "avfoundation"video_device = f"{self.src}:none"elif os_name == "Linux":input_format = "v4l2"video_device = f"{self.src}"elif os_name == "Windows":input_format = "dshow"video_device = f"video={self.src}"else:raise ValueError("Unsupported OS")command = ['ffmpeg','-f', input_format,'-r', str(self.fps),'-video_size', f'{self.resolution[0]}x{self.resolution[1]}','-i', video_device,'-vcodec', 'mjpeg',  # Input codec set to mjpeg'-an', '-vcodec', 'rawvideo',  # Decode the MJPEG stream to raw video'-pix_fmt', 'bgr24','-vsync', '2','-f', 'image2pipe', '-']if os_name == "Linux":command.insert(2, "-input_format")command.insert(3, "mjpeg")return subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.DEVNULL, bufsize=10**8)def read(self):raw_image = self.pipe.stdout.read(self.frame_size)if len(raw_image) != self.frame_size:return Noneimage = np.frombuffer(raw_image, dtype=np.uint8).reshape(self.frame_shape)return imagedef release(self):self.pipe.terminate()def wait_for_cam(self):for _ in range(30):frame = self.read()if frame is not None:return Truereturn False

For timing function, I used decorator:run

def timeit(func):def wrapper(*args, **kwargs):t0 = time.perf_counter()result = func(*args, **kwargs)t1 = time.perf_counter()print(f"Main function time: {round(t1-t0, 4)}s")return resultreturn wrapper

        作为一个繁重的合成任务，我使用了这个简单的函数来代替神经网络（它也可以只是）。这是一个非常重要的部分，因为没有任何任务，OpenCV和FFmpeg的读取速度是相同的：time.sleep

def computation_task():for _ in range(5000000):9999 * 9999

        现在功能与我读取框架的循环，它的时间，运行：computation_task

@timeit
def run(cam: VideoStreamCV | VideoStreamFFmpeg, run_task: bool):timer = []for _ in range(100):t0 = time.perf_counter()cam.read()timer.append(time.perf_counter() - t0)if run_task:computation_task()cam.release()return round(np.mean(timer), 4)

        最后，我设置了几个参数，使用 OpenCV 和 FFmpeg 初始化 2 个视频流，并在没有和使用它的情况下运行它们。maincomputation_task

def main():fsp = 30resolution = (1920, 1080)for run_task in [False, True]:ff_cam = VideoStreamFFmpeg(src=0, fps=fsp, resolution=resolution)cv_cam = VideoStreamCV(src=0, fps=fsp, resolution=resolution)print(f"FFMPEG, task {run_task}:")print(f"Mean frame read time: {run(cam=ff_cam, run_task=run_task)}s\n")print(f"CV2, task {run_task}:")print(f"Mean frame read time: {run(cam=cv_cam, run_task=run_task)}s\n")

        这是我得到的：

FFMPEG, task False:
Main function time: 3.2334s
Mean frame read time: 0.0323sCV2, task False:
Main function time: 3.3934s
Mean frame read time: 0.0332sFFMPEG, task True:
Main function time: 4.461s
Mean frame read time: 0.0014sCV2, task True:
Main function time: 6.6833s
Mean frame read time: 0.023s

        因此，如果没有合成任务，我可以获得相同的阅读时间：，。但是对于合成任务：和，所以FFmpeg要快得多。美妙之处在于，我的神经网络应用程序得到了真正的加速，而不仅仅是综合测试，所以我决定分享结果。0.03230.03320.00140.023

        下图显示了 1 次迭代所需的时间：读取帧，使用 yolov8s 模型（在 CPU 上）处理它，并使用检测到的对象保存帧：

三 完整脚本

        以下是包含综合测试的完整脚本：

import platform
import subprocess
import time
from typing import Tuple
import cv2
import numpy as npclass VideoStreamFFmpeg:def __init__(self, src: int, fps: int, resolution: Tuple[int, int]):self.src = srcself.fps = fpsself.resolution = resolutionself.pipe = self._open_ffmpeg()self.frame_shape = (self.resolution[1], self.resolution[0], 3)self.frame_size = np.prod(self.frame_shape)self.wait_for_cam()def _open_ffmpeg(self):os_name = platform.system()if os_name == "Darwin":  # macOSinput_format = "avfoundation"video_device = f"{self.src}:none"elif os_name == "Linux":input_format = "v4l2"video_device = f"{self.src}"elif os_name == "Windows":input_format = "dshow"video_device = f"video={self.src}"else:raise ValueError("Unsupported OS")command = ['ffmpeg','-f', input_format,'-r', str(self.fps),'-video_size', f'{self.resolution[0]}x{self.resolution[1]}','-i', video_device,'-vcodec', 'mjpeg',  # Input codec set to mjpeg'-an', '-vcodec', 'rawvideo',  # Decode the MJPEG stream to raw video'-pix_fmt', 'bgr24','-vsync', '2','-f', 'image2pipe', '-']if os_name == "Linux":command.insert(2, "-input_format")command.insert(3, "mjpeg")return subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.DEVNULL, bufsize=10**8)def read(self):raw_image = self.pipe.stdout.read(self.frame_size)if len(raw_image) != self.frame_size:return Noneimage = np.frombuffer(raw_image, dtype=np.uint8).reshape(self.frame_shape)return imagedef release(self):self.pipe.terminate()def wait_for_cam(self):for _ in range(30):frame = self.read()if frame is not None:return Truereturn Falseclass VideoStreamCV:def __init__(self, src: int, fps: int, resolution: Tuple[int, int]):self.src = srcself.fps = fpsself.resolution = resolutionself.cap = self._open_camera()self.wait_for_cam()def _open_camera(self):cap = cv2.VideoCapture(self.src)cap.set(cv2.CAP_PROP_FRAME_WIDTH, self.resolution[0])cap.set(cv2.CAP_PROP_FRAME_HEIGHT, self.resolution[1])fourcc = cv2.VideoWriter_fourcc(*"MJPG")cap.set(cv2.CAP_PROP_FOURCC, fourcc)cap.set(cv2.CAP_PROP_FPS, self.fps)return capdef read(self):ret, frame = self.cap.read()if not ret:return Nonereturn framedef release(self):self.cap.release()def wait_for_cam(self):for _ in range(30):frame = self.read()if frame is not None:return Truereturn Falsedef timeit(func):def wrapper(*args, **kwargs):t0 = time.perf_counter()result = func(*args, **kwargs)t1 = time.perf_counter()print(f"Main function time: {round(t1-t0, 4)}s")return resultreturn wrapperdef computation_task():for _ in range(5000000):9999 * 9999@timeit
def run(cam: VideoStreamCV | VideoStreamFFmpeg, run_task: bool):timer = []for _ in range(100):t0 = time.perf_counter()cam.read()timer.append(time.perf_counter() - t0)if run_task:computation_task()cam.release()return round(np.mean(timer), 4)def main():fsp = 30resolution = (1920, 1080)for run_task in [False, True]:ff_cam = VideoStreamFFmpeg(src=0, fps=fsp, resolution=resolution)cv_cam = VideoStreamCV(src=0, fps=fsp, resolution=resolution)print(f"FFMPEG, task {run_task}:")print(f"Mean frame read time: {run(cam=ff_cam, run_task=run_task)}s\n")print(f"CV2, task {run_task}:")print(f"Mean frame read time: {run(cam=cv_cam, run_task=run_task)}s\n")if __name__ == "__main__":main()

注意：此脚本已在Apple的M1 Pro芯片上进行了测试。希望这是有帮助的！阿尔戈·萨基扬

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/100285.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

指针进阶（1）

指针进阶（1）

指针进阶 朋友们，好久不见，这次追秋给大家带来的是内容丰富精彩的指针知识的拓展内容，喜欢的朋友们三连走一波！！！ 字符指针 在指针的类型中我们知道有一种指针类型为字符指针 char* ； 使用方法如…
阅读更多...
2023.8.1 Redis 的基本介绍

2023.8.1 Redis 的基本介绍

目录 Redis 的介绍 Redis 用作缓存和存储 session 信息 Redis 用作数据库 消息队列 消息队列是什么？ Redis 用作消息队列 Redis 的介绍 特点： 内存中存储数据：奠定了 Redis 进行访问和存储时的快可编程性：支持使用 Lua 编写脚…
阅读更多...
数据分析综述

数据分析综述

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者：秋无之地 🐴简介：CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据…
阅读更多...
bit、bin 、mcs文件区别

bit、bin 、mcs文件区别

FPGA里面的可执行文件都涉及到 *.bit， *.mcs， *.bin 和 *.elf。 bit文件 bit 文件一般用于JTAG在线进行调试的时候，是把bit文件是烧写到FPGA中进行在线调试。 bin文件 bin 文件是二进制文件，按顺序只包含原始字节流&#xff0c…
阅读更多...
位运算 |(按位或) (按位与) ^(按位异或)

位运算 |(按位或) (按位与) ^(按位异或)

目录 文章目录：本章讲解的主要是刷题系列 1：首先会介绍 I & ^这三个操作符的作用，性质 2：三道使用位运算操作符的经典 笔试题(来自剑指offer) 题目链接如下： 1:136. 只出现一次的数字 - 力扣（LeetCode…
阅读更多...
Python实现猎人猎物优化算法(HPO)优化BP神经网络回归模型(BP神经网络回归算法)项目实战

Python实现猎人猎物优化算法(HPO)优化BP神经网络回归模型(BP神经网络回归算法)项目实战

说明：这是一个机器学习实战项目（附带数据代码文档视频讲解），如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 猎人猎物优化搜索算法(Hunter–prey optimizer, HPO)是由Naruei& Keynia于2022年提出的一种最新的…
阅读更多...
肖sir__设计测试用例方法之等价类02_（黑盒测试）

肖sir__设计测试用例方法之等价类02_（黑盒测试）

设计测试用例方法之等价类02_（黑盒测试） 一、掌握常用的设计方法: 黑盒测试方法：等价类、边界值，状态迁移法、场景法、判定表、因果图、正交表，（7种） 经验测试方法：错误推测法、异常…
阅读更多...
iOS 17中的Safari配置文件改变了游戏规则，那么如何设置呢

iOS 17中的Safari配置文件改变了游戏规则，那么如何设置呢

Safari在iOS 17中最大的升级是浏览配置文件——能够在一个应用程序中创建单独的选项卡和书签组。这些也可以跟随你的iPad和Mac，但在本指南中，我们将向你展示如何使用运行iOS 17的iPhone。 你可能有点困惑，为什么Safari中没有明显的位置可以添…
阅读更多...
*** error 65: access violation at 0xFFFFFFF4 : no ‘write‘ permission怎么办

*** error 65: access violation at 0xFFFFFFF4 : no ‘write‘ permission怎么办

我发现是我的单片机型号设置错了，把debug里面的STM32F103ZET6修改为STM32F103ZE就可以正常运行了
阅读更多...
android：新建工程文件介绍

android：新建工程文件介绍

一、前言当我们新建一个app时会呈现出固定的工程文件，这篇文章介绍新建工程里的文件。 二、介绍 Structure:就是你选择哪个页面就会显示那个页面的结构，就比如说我选择的是MainActivity他就会显示这个页面所使用的方法。 1-2：是android自动生…
阅读更多...
手写apply方法

手写apply方法

<script>/** 手写apply方法 * */Function.prototype.myApply function (context, args) {console.log(this, sss)//fnconst key Symbol()context[key] thiscontext[key](...args)delete context[key]return context[key]}const obj {name: zs,age: 18}function fn …
阅读更多...
软件测试/测试开发丨Web自动化 测试用例流程设计

软件测试/测试开发丨Web自动化 测试用例流程设计

点此获取更多相关资料 本文为霍格沃兹测试开发学社学员学习笔记分享 原文链接&#xff1a;https://ceshiren.com/t/topic/27173 一、测试用例通用结构回顾 1.1、现有测试用例存在的问题 可维护性差可读性差稳定性差 1.2、用例结构设计 测试用例的编排测试用例的项目结构 1…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023