第2课 使用FFmpeg读取rtmp流并用openCV显示视频

 本课对应源文件下载链接：

https://download.csdn.net/download/XiBuQiuChong/88680079

这节课我们开始利用ffmpeg和opencv来实现一个rtmp播放器。播放器的最基本功能其实就两个:显示画面和播放声音。在实现这两个功能前，我们需要先用ffmpeg连接到rtmp服务器，当然也可以打开一个文件。

1.压缩备份上节课工程文件夹为demo.rar，并修改工程文件夹demo为demo2，及时备份源文件并在原基础上继续迭代开发是一种好习惯。

2.打开fmlp.cpp，修改其中的删除原来init函数中的代码，并加入以下代码：

runFFmpegHandle = CreateThread(NULL, 0, runFFmpegThreadProc, (LPVOID)this, 0, NULL);

如果把MFC对话框相关代码看作主线程函数的话，上述代码的作用是新建一个线程，并在新的线程中执行与ffmpeg及opencv有关的操作。这样做的好处就是实现了“各司其责”，MFC所在的主线程主要用来处理UI（界面）方面的工作，ffmpeg及opencv子线程主要用来处理网络连接、图形处理等方面的工作，互不影响，简洁高效。

3.因为我们需要连接rtmp服务器，所以我们需要在fmlp.h中增加一个字符串类型的rtmp地址；另外还需要定义子线程句柄及相关函数：

CString inRtmpURL;
HANDLE runFFmpegHandle;
static DWORD WINAPI runFFmpegThreadProc(LPVOID lpParam);
int runFFmpeg();
BOOL isRunning = false;

4.在fmlp.cpp中加入对应的函数，调试输出“runFFmpeg...”则表示子线程正常运行。

5.FFmpeg作为开源的跨平台音视频处理工具，提供了丰富的API来处理音视频文件。下面是利用FFmpeg API播放rtmp或rtsp流或文件的工作流程：

(1)打开输入文件：使用avformat_open_input函数打开输入文件，该函数会自动检测文件格式并初始化相应的解码器。

(2)查找流信息：使用avformat_find_stream_info函数查找输入文件中的音视频流信息，包括编码格式、帧率、分辨率等。

(3)查找解码器：根据流信息中的编码格式，使用avcodec_find_decoder函数查找相应的解码器。

(4)打开解码器：使用avcodec_open2函数打开解码器，准备解码音视频数据。

(5)取数据包：使用av_read_frame函数读取音视频数据包，每个数据包包含一个或多个音视频帧。

(6)解码数据包：对于音频数据包，使用avcodec_send_packet和avcodec_receive_frame函数解码。

(7)处解码后的数据：对于音频数据，可以进行音频处理，如音频播放、音频重采样等；对于视频数据，可以进行视频处理，如视频叠加水印、视频滤镜效果等。

(8)编码数据包：对于音频数据，可以使用avcodec_send_frame和avcodec_receive_packet函数进行编码。

(9)写入数据包：使用av_write_frame函数将编码后的数据包写入输出文件或使用av_interleaved_write_frame函数将编码后的数据包推送到rmtp流服务器。

(10)关闭解码器和输入文件：使用avcodec_close函数关闭解码器，使用avformat_close_input函数关闭输入文件。

(11)释放资源：使用avformat_free_context函数释放AVFormatContext结构体和相关资源。

根据上述流程，我们就可以在runFFmpeg函数中正式开始我们的工作了：


int fmlp::runFFmpeg(){//返回值int ret;//rtmp地址，也可以是本地文件const char *inFileName = "rtmp://192.168.0.100/vod/sample.mp4";//输入文件上下文结构体AVFormatContext *inFormatCtx = NULL;//视频解码相关int videoIndex = -1;AVCodec *vDecodec;AVCodecContext *vDecodeCtx = NULL;//图像转换上下文结构体struct SwsContext* bgrSwsCtx = NULL;struct SwsContext* yuvSwsCtx = NULL;//图像数据数组uint8_t* bgrBuff = NULL;//读取的数据包AVPacket normalPkt;//Mat对象cv::Mat srcMat;//开始时间和当前时间int64_t startTime = 0;int64_t currentTime = 0;//FFmpeg初始化av_register_all();avcodec_register_all();avformat_network_init();inFormatCtx = avformat_alloc_context();AVDictionary* options = NULL;av_dict_set(&options, "buffer_size", "10240", 0);av_dict_set(&options, "max_delay", "1000", 0);av_dict_set(&options, "max_analyze_duration", "10000", 0);av_dict_set(&options, "probesize", "20480", 0);av_dict_set(&options, "stimeout", "5000", 0);av_dict_set(&options, "listen_time", "5000", 0);av_dict_set(&options, "initial_timeout", "5000", 0);av_dict_set(&options, "preset", "ultrafast", 0);av_dict_set(&options, "tune", "zerolatency", 0);if ((ret = avformat_open_input(&inFormatCtx, inFileName, 0, &options)) < 0){TRACE("无法打开输入流.\n");return -1;}if (ret == 0){isRunning = true;}else{isRunning = false;}if ((ret = avformat_find_stream_info(inFormatCtx, 0)) < 0){TRACE("查找输入流信息失败.\n");return -1;}//获取音视频流通道IDfor (int i = 0; i < inFormatCtx->nb_streams; i++){if (inFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO){videoIndex = i;}}TRACE("视频流通道索引%d\n", videoIndex);//初始化并打开视频解码器vDecodec = avcodec_find_decoder(inFormatCtx->streams[videoIndex]->codecpar->codec_id);vDecodeCtx = avcodec_alloc_context3(vDecodec);avcodec_parameters_to_context(vDecodeCtx, inFormatCtx->streams[videoIndex]->codecpar);avcodec_open2(vDecodeCtx, vDecodec, 0);av_dump_format(inFormatCtx, 0, inFileName, 0);//解码后的原始视频帧AVFrame *deVideoFrame = av_frame_alloc();//缩放后的视频帧AVFrame bgrFrame = { 0 };bgrFrame.width = 960;bgrFrame.height = 540;bgrFrame.format = AV_PIX_FMT_BGR24;int bgrFrameSize = av_image_get_buffer_size((AVPixelFormat)bgrFrame.format, bgrFrame.width, bgrFrame.height, 1);bgrBuff = (uint8_t*)av_malloc(bgrFrameSize);av_image_fill_arrays(bgrFrame.data, bgrFrame.linesize, bgrBuff, (AVPixelFormat)bgrFrame.format, bgrFrame.width, bgrFrame.height, 1);//获取图像转换上下文bgrSwsCtx = sws_getContext(vDecodeCtx->width, vDecodeCtx->height, vDecodeCtx->pix_fmt, bgrFrame.width, bgrFrame.height, (AVPixelFormat)bgrFrame.format, SWS_BICUBIC, NULL, NULL, NULL);//获取开始时间startTime = av_gettime();while (isRunning){ret = av_read_frame(inFormatCtx, &normalPkt);if (ret < 0){break;}//当数据包时间快于当前时间则延当延时currentTime = (av_gettime() - startTime) / 1000;if (normalPkt.pts > currentTime){Sleep(normalPkt.pts - currentTime);}if (normalPkt.stream_index == videoIndex){ret = avcodec_send_packet(vDecodeCtx, &normalPkt);ret = avcodec_receive_frame(vDecodeCtx, deVideoFrame);av_packet_unref(&normalPkt);ret = sws_scale(bgrSwsCtx, (const uint8_t* const*)deVideoFrame->data, deVideoFrame->linesize, 0, deVideoFrame->height, bgrFrame.data, bgrFrame.linesize);srcMat = cv::Mat(bgrFrame.height, bgrFrame.width, CV_8UC3, bgrFrame.data[0]);imshow("viceo", srcMat);cv::waitKey(10);//mainDlg->drawMatOfPlay(srcMat);//av_frame_unref(deVideoFrame);}}av_dict_free(&options);avformat_close_input(&inFormatCtx);isRunning = false;return 0;
}

6.先不用管那么多，先运行起来看看效果吧。如果能弹出窗口显示图像则表示连接rtmp服务器成功并成功拿到视频数据。

7.上面的视频显示是利用openCV的内置函数来imshow来实现的，会弹出一个新的窗口，这样会显得会怪异。为了让视频显示在MFC对话框中，需要先在对话框中添加一个名为IDC_playPic的Picture Control 控件，并加入显示函数：

void CdemoDlg::drawMatOfPlay(cv::Mat &img)
{CDC *playCDC;CRect rectForPlay;cv::Mat scaleMatForPlay;playCDC = myWnd->GetDlgItem(IDC_playPic)->GetDC();myWnd->GetDlgItem(IDC_playPic)->GetClientRect(&rectForPlay);cv::resize(img, scaleMatForPlay, cv::Size(rectForPlay.Width(), rectForPlay.Height()));	switch (scaleMatForPlay.channels()){case 1:cv::cvtColor(scaleMatForPlay, scaleMatForPlay, CV_GRAY2BGRA);break;case 3:cv::cvtColor(scaleMatForPlay, scaleMatForPlay, CV_BGR2BGRA); break;default:break;}int pixelBytes = scaleMatForPlay.channels()*(scaleMatForPlay.depth() + 1);BITMAPINFO bitInfo;bitInfo.bmiHeader.biBitCount = 8 * pixelBytes;bitInfo.bmiHeader.biWidth = scaleMatForPlay.cols;bitInfo.bmiHeader.biHeight = -scaleMatForPlay.rows;bitInfo.bmiHeader.biPlanes = 1;bitInfo.bmiHeader.biSize = sizeof(BITMAPINFOHEADER);bitInfo.bmiHeader.biCompression = BI_RGB;bitInfo.bmiHeader.biClrImportant = 0;bitInfo.bmiHeader.biClrUsed = 0;bitInfo.bmiHeader.biSizeImage = 0;bitInfo.bmiHeader.biXPelsPerMeter = 0;bitInfo.bmiHeader.biYPelsPerMeter = 0;	StretchDIBits(playCDC->GetSafeHdc(),0, 0, rectForPlay.Width(), rectForPlay.Height(),0, 0, rectForPlay.Width(), rectForPlay.Height(),scaleMatForPlay.data,&bitInfo,DIB_RGB_COLORS,SRCCOPY);ReleaseDC(playCDC);
}

8.在fmlp.cpp中调用显示函数：

//imshow("viceo", srcMat);
//cv::waitKey(10);
mainDlg->drawMatOfPlay(srcMat);
av_frame_unref(deVideoFrame);

再次运行，效果立现：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/310921.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

副业类小报童热门专栏TOP15

副业类小报童热门专栏TOP15

今天介绍15个副业小报童&#xff0c;可以说是当前小报童平台&#xff0c;副业类专栏的天花板内容了 这些专栏&#xff0c;都有免费内容可以查看&#xff0c;而且还是3天无理由退款的&#xff0c;完全可以尝试着订阅一波 关键单价都非常亲民&#xff0c;怎么都不亏&#xff01…
阅读更多...
蓝桥杯嵌入式KEY

蓝桥杯嵌入式KEY

1.按键原理图 2.按键GPIO引脚设置成输入&#xff0c;上拉模式 3.设置TIM4时钟源为外部时钟源 PSC为80-1 Period为10000-1 打开NVIC 中断时间为10ms 4.在bsp文件中添加interrupt.c文件 5.按键单击代码 6.长按键 7.按键过程和显示过程
阅读更多...
2024新年快乐烟花代码

2024新年快乐烟花代码

一、前言 很快就是2024年了&#xff0c;让我们好好告别2023&#xff0c;迎接2024。 凡是过往皆是序章&#xff0c;所有未来皆为可盼。在2023年里也许你踏足山藏&#xff0c;拥有花的铺簧书的风光&#xff0c;也许你进入低谷&#xff0c;经历了一个人的兵荒马乱。但没关系&…
阅读更多...
第二部分 离散型随机变量

第二部分 离散型随机变量

目录 求分布律里的未知数 例1 例2 根据X的分布律写Y的分布律 例3 根据(X,Y)的分布律写Z的分布律 例4 根据(X,Y)的分布律写边缘分布律 例5 X与Y相互独立时的联合分布律 例6 根据分布律求期望、方差 例7 求分布律里的未知数 例1 已知X的分布律为 X-202P0.40.3k ,试求k 解 0.40…
阅读更多...
Linux 安装 mysql【使用yum源进行安装】

Linux 安装 mysql【使用yum源进行安装】

配置yum 源 首先&#xff0c;去到mysql网站&#xff0c;找到它的rpm的资源包 “mysql80-community-release-el9-5.noarch.rpm” 我们将其下载下来&#xff0c;然后配置yum源&#xff08;下面两种方式二选一即可&#xff09; ① 使用xftp传输&#xff0c;然后配置yum源 rpm …
阅读更多...
【软件工程】走进敏捷开发：灵活、协作、迭代的软件工艺之旅

【软件工程】走进敏捷开发：灵活、协作、迭代的软件工艺之旅

&#x1f34e;个人博客&#xff1a;个人主页 &#x1f3c6;个人专栏&#xff1a; 软件工程 ⛳️ 功不唐捐&#xff0c;玉汝于成 目录 前言&#xff1a; 正文 敏捷开发&#xff08;Agile Development&#xff09; 详细介绍&#xff1a; 优缺点&#xff1a; 优点&#xf…
阅读更多...
OSG 关于MVPW变换

OSG 关于MVPW变换

目录 1、模型 Model 2、观察矩阵 ViewMatrix 4、窗口矩阵变化 5、总结 在osg中观察矩阵接口设置如下: 其中eye是相机的世界坐标位置,center是相机观察的位置,up是相机向上向量。 在计算机的三维世界中&#xff0c;相机如同我们的眼睛&#xff0c;捕捉眼前的每一副画面&#xff…
阅读更多...
Nx市工业数据洞察：Flask、MySQL、Echarts的可视化之旅

Nx市工业数据洞察：Flask、MySQL、Echarts的可视化之旅

Nx市工业数据洞察&#xff1a;Flask、MySQL、Echarts的可视化之旅 背景数据集来源技术选型功能介绍创新点总结 背景 随着工业化的不断发展&#xff0c;Nx市工业数据的收集和分析变得愈发重要。本博客将介绍如何利用Flask、MySQL和Echarts等技术&#xff0c;从统计局获取的数据…
阅读更多...
ElasticSearch历史版本/老版本下载

ElasticSearch历史版本/老版本下载

下载地址 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 搜索所需版本并下载
阅读更多...
中医电子处方系统，西医个体诊所门诊卫生室病历记录查询软件教程

中医电子处方系统，西医个体诊所门诊卫生室病历记录查询软件教程

中医电子处方系统&#xff0c;西医个体诊所门诊卫生室病历记录查询软件教程 一、软件程序问答 1、电子处方软件如何快速开单&#xff1f; 如下图&#xff0c;软件以 佳易王诊所电子处方管理系统V17.1版本为例说明 在开电子处方的时候可以按单个药品开&#xff0c;也可以直…
阅读更多...
linux基于用户身份对资源访问进行控制的解析及过程

linux基于用户身份对资源访问进行控制的解析及过程

linux中用户分为三类 1.超级用户&#xff08;root&#xff09; 拥有至高无上的权限 2.普通用户 人为创建、权限小&#xff0c;权限受到控制 3.程序用户 运行程序的用户&#xff0c;不是给人使用的&#xff0c;给程序使用的&#xff0c;一般不给登录&#xff01; 组账…
阅读更多...
SetWindowsHookEx： 全局钩子实现键盘记录器

SetWindowsHookEx： 全局钩子实现键盘记录器

简介 SetWindowsHookEx 钩子(Hook)&#xff0c;是Windows消息处理机制的一个平台&#xff0c;应用程序可以在上面设置子程以监视指定窗口的某种消息&#xff0c;而且所监视的窗口可以是其他进程所创建的。当消息到达后&#xff0c;在目标窗口处理函数之前处理它。钩子机制允许应…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023