Qt-FFmpeg开发-打开摄像头直接显示YUYV422图像（12）

Qt-FFmpeg开发-打开摄像头直接显示YUYV422图像📀

文章目录

  • Qt-FFmpeg开发-打开摄像头直接显示YUYV422图像📀
    • 1、概述📸
    • 2、实现效果💽
    • 3、主要代码🔍
    • 4、完整源代码📑

更多精彩内容
👉个人内容分类汇总 👈
👉音视频开发 👈

1、概述📸

  • 最近研究了一下FFmpeg开发，功能实在是太强大了，网上ffmpeg3、4的文章还是很多的，但是学习嘛，最新的还是不能放过，就选了一个最新的ffmpeg n5.1.2版本（更新太快了，都已经到7了😅），和3、4版本api变化还是挺大的；
  • 在这个示例程序中主要使用Qt + FFmpeg开发一个相机，使用FFmpeg打开摄像头，并且【不需要解码】，直接显示获取到的【YUYV422】格式的AVPacket图像；
  • 摄像头打开默认解码器是【rawvideo】（也有一些是mjpeg）,如果解码器是【rawvideo】，可直接获取到AV_PIX_FMT_YUYV422像素格式的AVPacket图像，可以不需要解码，直接就进行显示；
  • 这里为了方便opengl显示，直接将YUYV422格式的AVPacket图像转为YUV420P格式的AVFrame进行显示。

开发环境说明

  • 系统：Windows11、Ubuntu20.04
  • Qt版本：V5.14.2
  • 编译器：MSVC2017-64、GCC/G++64
  • FFmpeg版本：n5.1.2
    • 注意：如果使用了较低版本的库，程序中部分功能可能会存在问题，不会兼容。
    • 官方下载
    • 我使用的库

2、实现效果💽

  1. 使用ffmpeg音视频库打开本地摄像头；
  2. 采用【OpenGL显示YUV】图像，支持自适应窗口缩放，支持使用QOpenGLWidget、QOpenGLWindow显示；
  3. 打开摄像头后一般情况默认解码器为【rawvideo】，获取的图像像素格式为【YUYV422】，可以【不需要解码】，直接将YUYV422转为YUV420P进行显示；
  4. 支持Windows、Linux打开本地摄像头；
  5. 视频解码、线程控制、显示各部分功能分离，低耦合度。
  6. 采用5.1.2版本ffmpeg库进行开发，超详细注释信息，将所有踩过的坑、解决办法、注意事项都得很写清楚;
  7. 【注意：】如果打开摄像头失败，需要检测是不是摄像头分辨率设置不正确，解码器如果不是rawvideo则这个程序不执行;
  8. 由于不同电脑摄像头打开时解码器不同，获取的图像格式不同，所以为了便于显示，在获取图像后统一转换为YUV420P格式进行显示。

在这里插入图片描述

3、主要代码🔍

  • 啥也不说了，直接上代码，一切有注释

  • videodecode.h文件

    /******************************************************************************* @文件名     videodecode.h* @功能       视频解码类，在这个类中调用ffmpeg打开摄像头获取图像数据** @开发者     mhf* @邮箱       1603291350@qq.com* @时间       2022/09/15* @备注*****************************************************************************/
#ifndef VIDEODECODE_H
#define VIDEODECODE_H#include <QSize>
#include <QString>struct AVFormatContext;
struct AVCodecContext;
struct AVRational;
struct AVPacket;
struct AVFrame;
struct SwsContext;
struct AVBufferRef;
struct AVInputFormat;
class QImage;class VideoDecode
{
public:VideoDecode();~VideoDecode();bool open(const QString& url = QString());   // 打开媒体文件，或者流媒体rtmp、strp、httpAVFrame* read();                             // 读取视频图像void close();                                // 关闭private:void initFFmpeg();                              // 初始化ffmpeg库（整个程序中只需加载一次）void showError(int err);                        // 显示ffmpeg执行错误时的错误信息qreal rationalToDouble(AVRational* rational);   // 将AVRational转换为doublebool toYUV420P();                               // 将视频帧格式由原始格式转换为YUV420P格式，便于显示void clear();                                   // 清空读取缓冲void free();                                    // 释放private:const AVInputFormat* m_inputFormat = nullptr;AVFormatContext* m_formatContext = nullptr;   // 解封装上下文AVCodecContext* m_codecContext = nullptr;     // 解码器上下文SwsContext* m_swsContext = nullptr;           // 图像转换上下文AVPacket* m_packet = nullptr;                 // 数据包AVFrame* m_frame = nullptr;                   // 解码后的视频帧（转换为YUV420P格式）int m_videoIndex = 0;                         // 视频流索引qint64 m_totalFrames = 0;                     // 视频总帧数qreal m_frameRate = 0;                        // 视频帧率char* m_error = nullptr;                      // 保存异常信息QSize m_size;
};#endif   // VIDEODECODE_H

  • videodecode.cpp文件

    #include "videodecode.h"
#include <qdatetime.h>
#include <QDebug>
#include <QMutex>extern "C"   // 用C规则编译指定的代码
{
#include "libavcodec/avcodec.h"
#include "libavdevice/avdevice.h"   // 调用输入设备需要的头文件
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libavutil/imgutils.h"
#include "libswscale/swscale.h"
}#define ERROR_LEN 1024   // 异常信息数组长度VideoDecode::VideoDecode()
{initFFmpeg();m_error = new char[ERROR_LEN];/*** dshow：  Windows 媒体输入设备。目前仅支持音频和视频设备。* gdigrab：基于 Win32 GDI 的屏幕捕获设备* video4linux2：Linux输入视频设备*/
#if defined(Q_OS_WIN)m_inputFormat = av_find_input_format("dshow");   // Windows下如果没有则不能打开摄像头
#elif defined(Q_OS_LINUX)m_inputFormat = av_find_input_format("video4linux2");   // Linux也可以不需要就可以打开摄像头
#elif defined(Q_OS_MAC)m_inputFormat = av_find_input_format("avfoundation");
#endifif (!m_inputFormat){qWarning() << "查询AVInputFormat失败！";}
}VideoDecode::~VideoDecode()
{close();
}/*** @brief 初始化ffmpeg库（整个程序中只需加载一次）*        旧版本的ffmpeg需要注册各种文件格式、解复用器、对网络库进行全局初始化。*        在新版本的ffmpeg中纷纷弃用了，不需要注册了*/
void VideoDecode::initFFmpeg()
{static bool isFirst = true;static QMutex mutex;QMutexLocker locker(&mutex);if (isFirst){//        av_register_all();         // 已经从源码中删除/*** 初始化网络库,用于打开网络流媒体，此函数仅用于解决旧GnuTLS或OpenSSL库的线程安全问题。* 一旦删除对旧GnuTLS和OpenSSL库的支持，此函数将被弃用，并且此函数不再有任何用途。* 5.1.2版本不需要调用了*/avformat_network_init();// 初始化libavdevice并注册所有输入和输出设备。avdevice_register_all();isFirst = false;}
}/*** @brief      打开媒体文件，或者流媒体，例如rtmp、strp、http* @param url  视频地址* @return     true：成功  false：失败*/
bool VideoDecode::open(const QString& url)
{if (url.isNull())return false;AVDictionary* dict = nullptr;/*** Windows：*     使用【.\ffmpeg.exe -list_devices true -f dshow -i dummy】命令查看所有可用设备*     可使用【.\ffmpeg.exe -list_options true -f dshow -i video="Lenovo EasyCamera"】命令查看摄像头支持的编码器、帧率、分辨率等信息* Linux：可使用【ffmpeg -list_formats all -i /dev/video0】或【ffplay -f video4linux2 -list_formats all /dev/video0】命令查看摄像头支持的支持的像素格式、编解码器和帧大小*/// 有些本地摄像头默认为rawvideo解码器，输入图像为YUYV420，不方便显示，有两种解决办法，1：使用sws_scale把YUYV422转为YUVJ422P；2：指定mjpeg解码器输出YUVJ422P图像）av_dict_set(&dict, "input_format", "mjpeg", 0);//    av_dict_set(&dict, "framerate", "30", 0);             // 设置帧率//    av_dict_set(&dict, "pixel_format", "yuv420p", 0);   // 设置像素格式av_dict_set(&dict, "video_size", "1280x720", 0);   // 设置视频分辨率（如果该分辨率摄像头不支持则会报错）// 打开输入流并返回解封装上下文int ret = avformat_open_input(&m_formatContext,           // 返回解封装上下文url.toStdString().data(),   // 打开视频地址m_inputFormat,              // 如果非null，此参数强制使用特定的输入格式。自动选择解封装器（文件格式）nullptr);                   // 参数设置// 释放参数字典if (dict){av_dict_free(&dict);}// 打开视频失败if (ret < 0){showError(ret);free();return false;}// 读取媒体文件的数据包以获取流信息。ret = avformat_find_stream_info(m_formatContext, nullptr);if (ret < 0){showError(ret);free();return false;}// 通过AVMediaType枚举查询视频流ID（也可以通过遍历查找），最后一个参数无用（在虚拟机中时无法打开摄像头就会卡在这一步）m_videoIndex = av_find_best_stream(m_formatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if (m_videoIndex < 0){showError(m_videoIndex);free();return false;}AVStream* videoStream = m_formatContext->streams[m_videoIndex];   // 通过查询到的索引获取视频流m_size.setWidth(videoStream->codecpar->width);m_size.setHeight(videoStream->codecpar->height);m_frameRate = rationalToDouble(&videoStream->avg_frame_rate);   // 视频帧率// 通过解码器ID获取视频解码器（新版本返回值必须使用const）const AVCodec* codec = avcodec_find_decoder(videoStream->codecpar->codec_id);if (AV_CODEC_ID_RAWVIDEO != codec->id){qWarning() << "打开摄像头的编码器不是AV_CODEC_ID_RAWVIDEO";free();return false;}m_totalFrames = videoStream->nb_frames;qDebug() << QString("分辨率：[w:%1,h:%2] 帧率：%3  总帧数：%4  解码器：%5").arg(m_size.width()).arg(m_size.height()).arg(m_frameRate).arg(m_totalFrames).arg(codec->name);// 分配AVCodecContext并将其字段设置为默认值。m_codecContext = avcodec_alloc_context3(codec);if (!m_codecContext){qWarning() << "创建视频解码器上下文失败！";free();return false;}// 使用视频流的codecpar为解码器上下文赋值ret = avcodec_parameters_to_context(m_codecContext, videoStream->codecpar);if (ret < 0){showError(ret);free();return false;}m_codecContext->flags2 |= AV_CODEC_FLAG2_FAST;   // 允许不符合规范的加速技巧。m_codecContext->thread_count = 8;                // 使用8线程解码// 初始化解码器上下文，如果之前avcodec_alloc_context3传入了解码器，这里设置NULL就可以ret = avcodec_open2(m_codecContext, nullptr, nullptr);if (ret < 0){showError(ret);free();return false;}// 分配AVPacket并将其字段设置为默认值。m_packet = av_packet_alloc();if (!m_packet){
#if PRINT_LOGqWarning() << "av_packet_alloc() Error！";
#endiffree();return false;}// 分配AVFrame并将其字段设置为默认值。m_frame = av_frame_alloc();if (!m_frame){free();return false;}// 获取缓存的图像转换上下文。首先校验参数是否一致，如果校验不通过就释放资源；然后判断上下文是否存在，如果存在直接复用，如不存在进行分配、初始化操作m_swsContext = sws_getCachedContext(m_swsContext,m_size.width(),       // 输入图像的宽度m_size.height(),      // 输入图像的高度AV_PIX_FMT_YUYV422,   // 输入图像的像素格式m_size.width(),       // 输出图像的宽度m_size.height(),      // 输出图像的高度AV_PIX_FMT_YUV420P,   // 输出图像的像素格式SWS_BILINEAR,         // 选择缩放算法(只有当输入输出图像大小不同时有效),一般选择SWS_FAST_BILINEARnullptr,              // 输入图像的滤波器信息, 若不需要传NULLnullptr,              // 输出图像的滤波器信息, 若不需要传NULLnullptr);             // 特定缩放算法需要的参数(?)，默认为NULLif (!m_swsContext){qWarning() << "sws_getCachedContext() Error！";free();return false;}return true;
}/*** @brief* @return*/
AVFrame* VideoDecode::read()
{// 如果没有打开则返回if (!m_formatContext){return nullptr;}// 读取下一帧数据int readRet = av_read_frame(m_formatContext, m_packet);if (readRet < 0){return nullptr;}if (m_packet->stream_index != m_videoIndex)   // 如果是图像数据则进行解码{av_packet_unref(m_packet);   // 释放数据包，引用计数-1，为0时释放空间return nullptr;}if (!toYUV420P())   // 转换图像格式{return nullptr;}return m_frame;
}/*** @brief  将读取到的YUYV422原始数据直接转换为YUV420P格式的m_frame* @return*/
bool VideoDecode::toYUV420P()
{m_frame->width = m_size.width();m_frame->height = m_size.height();m_frame->format = AV_PIX_FMT_YUV420P;if (!m_frame->data[0]){av_image_alloc(m_frame->data, m_frame->linesize, m_frame->width, m_frame->height, AV_PIX_FMT_YUV420P, 1);}int lineSize[4];av_image_fill_linesizes(lineSize, AV_PIX_FMT_YUYV422, m_size.width());uint8_t* srcSlice[1];srcSlice[0] = m_packet->data;int ret = sws_scale(m_swsContext,         // 缩放上下文srcSlice,             // 原图像数组lineSize,             // 包含源图像每个平面步幅的数组0,                    // 开始位置m_frame->height,      // 行数m_frame->data,        // 目标图像数组m_frame->linesize);   // 包含目标图像每个平面的步幅的数组av_packet_unref(m_packet);   // 释放数据包，引用计数-1，为0时释放空间if (ret < 0){showError(ret);return false;}return true;
}/*** @brief 关闭视频播放并释放内存*/
void VideoDecode::close()
{clear();free();m_videoIndex = 0;m_totalFrames = 0;m_frameRate = 0;
}/*** @brief        显示ffmpeg函数调用异常信息* @param err*/
void VideoDecode::showError(int err)
{
#if PRINT_LOGmemset(m_error, 0, ERROR_LEN);   // 将数组置零av_strerror(err, m_error, ERROR_LEN);qWarning() << "DecodeVideo Error：" << m_error;
#elseQ_UNUSED(err)
#endif
}/*** @brief          将AVRational转换为double，用于计算帧率* @param rational* @return*/
qreal VideoDecode::rationalToDouble(AVRational* rational)
{qreal frameRate = (rational->den == 0) ? 0 : (qreal(rational->num) / rational->den);return frameRate;
}/*** @brief 清空读取缓冲*/
void VideoDecode::clear()
{// 因为avformat_flush不会刷新AVIOContext (s->pb)。如果有必要，在调用此函数之前调用avio_flush(s->pb)。if (m_formatContext && m_formatContext->pb){avio_flush(m_formatContext->pb);}if (m_formatContext){avformat_flush(m_formatContext);   // 清理读取缓冲}
}void VideoDecode::free()
{// 释放上下文swsContext。if (m_swsContext){sws_freeContext(m_swsContext);m_swsContext = nullptr;   // sws_freeContext不会把上下文置NULL}// 释放编解码器上下文和与之相关的所有内容，并将NULL写入提供的指针if (m_codecContext){avcodec_free_context(&m_codecContext);}// 关闭并失败m_formatContext，并将指针置为nullif (m_formatContext){avformat_close_input(&m_formatContext);}if (m_packet){av_packet_free(&m_packet);}if (m_frame){av_freep(m_frame->data);av_frame_free(&m_frame);}
}

4、完整源代码📑

  • github
  • gitee

🎈🎈  ☁️
　        🎈🎈🎈
☁️     🎈🎈🎈🎈
　      🎈🎈🎈🎈
　 ☁️    ⁣🎈🎈🎈
　          |/
　          🏠   ☁️
　 ☁️         ☁️

🌳🌻🏫🌳🏘🏢_🏘🏢🌲🌳

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/697598.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

在cmd中，如何使用cd进入指定文件目录

在cmd中，如何使用cd进入指定文件目录

在cmd中&#xff0c;如何使用cd进入指定文件目录 1.要进入的磁盘与当前磁盘一致 例如: cd C:\Program Files (x86)\Google\Chrome\Application 2.进入到其他磁盘&#xff0c; 例如 cd /d D:\JAVA\codes\01\1.4 或者下面的方式&#xff08;直接输入磁盘F&#xff1a;和文件名…
阅读更多...
Android adb shell关于CPU核的命令

Android adb shell关于CPU核的命令

Android adb shell关于CPU核的命令 先使用命令&#xff1a; adb shell 进入控制台。 然后&#xff0c;直接在$后面输入下面命令&#xff0c;针对CPU的命令。 cat /proc/cpuinfo | grep ^processor | wc -l 查看当前手机的CPU是几核的。 cat sys/devices/system/cpu/online …
阅读更多...
计算机组成原理（超详解！！） 第七节 中央处理器（下）

计算机组成原理（超详解！！） 第七节 中央处理器（下）

1.微程序控制器 微程序设计技术&#xff1a;利用软件方法来设计硬件的一门技术。 微程序控制器的基本思想&#xff1a; 仿照通常的解题程序的方法&#xff0c;把操作控制信号编成所谓的“微指令”&#xff0c;存放到一个只读存储器里。当机器运行时&#xff0c;一条又一条地…
阅读更多...
解决finalshell无法连接，一直提示登陆密码

解决finalshell无法连接，一直提示登陆密码

问题描述 在使用FinalShell连接配置虚拟机时&#xff0c;无法正常连接&#xff0c;一直提示输入登录密码&#xff0c;即使输入的密码是正确的。 切换到root 模式,输入密码 su root 此时需要输入root账户的密码&#xff0c;但是我们又不知道root的密码&#xff0c;怎么办&…
阅读更多...
NSSCTF | [第五空间 2021]WebFTP

NSSCTF | [第五空间 2021]WebFTP

注意看这里的题目标签&#xff0c;目录扫描&#xff0c;.git泄露。那么这道题虽然打开是一个登录的界面&#xff0c;但是并不是我们熟悉的爆破和SQL注入。 但是可以在题目标签上看到目录扫描&#xff0c;我们就用dirsearch扫一扫看看 python dirsearch.py -u http://node4.ann…
阅读更多...
【pouchdb-可视化工具 】

【pouchdb-可视化工具 】

最近使用pouchdb&#xff0c;想找个其对应的可视化工具&#xff0c;可以对数据库进行操作。 找了好久才找到&#xff0c;网上有说先同步到couchdb&#xff0c;再用couchdb的可视化工具查看&#xff0c;其实没有那么麻烦&#xff0c;pouchdb的可视化工具其实藏在另外的pouchdb-…
阅读更多...
【经典文献】光声立体成像的对极几何

【经典文献】光声立体成像的对极几何

文献标题&#xff1a;《Epipolar Geometry of Opti-Acoustic Stereo Imaging》作者列表&#xff1a;Shahriar Negahdaripour发表期刊&#xff1a;IEEE Transactions on Pattern Analysis and Machine Intelligence发表年份&#xff1a;2007DOI链接&#xff1a;10.1109/TPAMI.20…
阅读更多...
20 分页：较小的表

20 分页：较小的表

目录 简单的解决方案&#xff1a;更大的页 混合方法&#xff1a;分页和分段 多级页表 详细的多级示例 超过两级 ​编辑地址转换过程&#xff1a;记住TLB 反向页表 将页表交换到磁盘 之前提到的一个问题&#xff1a;就是页表太大&#xff0c;假设一个 32 位地址空间&…
阅读更多...
C语言 | Leetcode C语言题解之第87题扰乱字符串

C语言 | Leetcode C语言题解之第87题扰乱字符串

题目&#xff1a; 题解&#xff1a; struct HashTable {int key;int val;UT_hash_handle hh; };void modifyHashTable(struct HashTable** hashTable, int x, int inc) {struct HashTable* tmp;HASH_FIND_INT(*hashTable, &x, tmp);if (tmp NULL) {tmp malloc(sizeof(st…
阅读更多...
ORA-00932: inconsistent datatypes: expected - got CLOB的分析解决方案

ORA-00932: inconsistent datatypes: expected - got CLOB的分析解决方案

最近在项目中遇到查询数据时报ORA-00932: inconsistent datatypes: expected - got CLOB错误&#xff0c;这个错误很明显是由于查询时类型的不匹配造成的。 问题分析&#xff1a; 一、检查你的查询的实体的类型是否于数据库的保持一致&#xff0c;如果不一致&#xff0c;那么需…
阅读更多...
怎么批量下载视频？DY视频爬虫在线提取采集工具

怎么批量下载视频？DY视频爬虫在线提取采集工具

短视频批量下载工具&#xff0c;具有多种模块和功能&#xff0c;方便用户快速批量下载短视频。该软件的详细介绍&#xff1a; 功能模块介绍&#xff1a; 一. 搜索词批量搜索下载 视频关键词添加&#xff1a;支持添加多个视频关键词Q530269148进行全平台视频搜索。历史去重&a…
阅读更多...
【JavaEE】Web服务器与请求响应流程：深入了解如何处理Web请求

【JavaEE】Web服务器与请求响应流程：深入了解如何处理Web请求

目录 Web服务器请求响应流程分析小结 Web服务器 浏览器和服务器两端进⾏数据交互, 使⽤的就是HTTP协议 前⾯我们已经学习了 HTTP 协议, 知道了 HTTP 协议就是 HTTP 客⼾端和 HTTP 服务器之间的交互数据的格式. Web 服务器就是对HTTP协议进⾏封装, 程序员不需要直接对协议进⾏…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023