Qt/C++音视频开发81-采集本地麦克风/本地摄像头带麦克风/桌面采集和麦克风/本地设备和桌面推流

一、前言

随着直播的兴起，采集本地摄像头和麦克风进行直播推流，也是一个刚需，最简单的做法是直接用ffmpeg命令行采集并推流，这种方式简单粗暴，但是不能实时预览画面，而且不方便加上一些特殊要求。之前就已经打通了音视频文件和视频流的采集，那是不是可以简单点的方式就能直接加入到原有的框架中呢，答案是可以的，经过一段时间的摸索，发现只要新增少量十几行的代码就行，一个是设置avformat_open_input的第三个参数，指定采集本地设备，一个是设置本地设备的文件名，桌面是gdigrab，本地摄像头是dshow，在linux上桌面是x11grab，本地摄像头是v4l2，本地麦克风是alsa。网上类似的代码也很多，这里只讲两点。

第一点是最初在同时打开本地摄像头和麦克风的时候，发现声音总是不正常，尽管深知这种思路肯定是对的，还总在转换声音那边下手，死活都不行。就在即将放弃此方案的时候，找遍了网络找相关资料，发现要通过av_dict_set(options, "audio_buffer_size", "40", 0);设置一个叫audio_buffer_size的参数值，默认这个值很大，导致声音延迟和缓存很大，所以声音画面不同步，把这个值设置小一点，性能相当好，简直完美。

第二点是在使用采集摄像头和麦肯风同步保存到MP4文件或者推流的时候，发现一个现象，随着时间的推移，音视频慢慢的不同步，音频延迟越来越大，一个是的几分钟内还是正常的，时间到了比如十分钟以后，慢慢的延迟越大，后面发现，在调用av_interleaved_write_frame函数写入数据的时候，这个函数默认会缓存，缓存av_write_frame直接立即写入，就再也没有发生过这个问题，连续测试几天稳得一逼。为了尽量提高实时性，目前的方案是直接采集到就解码并编码立即推流，音视频都是，先不做同步，通过audio_buffer_size参数的设置以及改成av_write_frame来写入，能够将实时性做到极致。如果使用ffmpeg命令行，无论如何设置参数，都做不到这个实时性。

公众号：Qt实战，各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发。

公众号：Qt入门和进阶，专门介绍Qt/C++相关知识点学习，帮助Qt开发者更好的深入学习Qt。多位Qt元婴期大神，一步步带你从入门到进阶。

二、效果图

三、体验地址

  1. 国内站点：https://gitee.com/feiyangqingyun
  2. 国际站点：https://github.com/feiyangqingyun
  3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
  4. 体验地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_push。
  5. 视频主页：https://space.bilibili.com/687803542

四、功能特点

  1. 支持各种本地音视频文件和网络音视频文件，格式包括mp3、aac、wav、wma、mp4、mkv、rmvb、wmv、mpg、flv、asf等。
  2. 支持各种网络音视频流，网络摄像头，协议包括rtsp、rtmp、http等。
  3. 支持本地摄像头设备推流，可指定分辨率、帧率、格式等。
  4. 支持本地桌面采集推流，可指定屏幕索引、采集区域、起始坐标、帧率等，也支持指定窗口标题进行采集。
  5. 可实时切换预览视频文件，可切换音视频文件播放进度，切换到哪里就推流到哪里。预览过程中可以切换静音状态和暂停推流。
  6. 可指定重新编码推流，任意源头格式可选强转264或265格式。
  7. 可转换分辨率推流，设置等比例缩放或者指定分辨率进行转换。
  8. 推流的清晰度、质量、码率都可调，可以节约网络带宽和拉流端的压力。
  9. 音视频文件自动循环不间断推流。
  10. 音视频流有自动掉线重连机制，重连成功自动继续推流。
  11. 支持各种流媒体服务程序，包括但不限于mediamtx、ZLMediaKit、srs、LiveQing、nginx-rtmp、EasyDarwin、ABLMediaServer。
  12. 通过配置文件自动加载对应流媒体程序的协议和端口，自动生成推流地址和各种协议的拉流地址。可以通过配置文件自己增加流媒体程序。
  13. 可选rtmp、rtmp格式推流，推流成功后，支持多种格式拉流，包括但不限于rtsp、rtmp、hls、flv、ws-flv、webrtc等。
  14. 在软件上推流成功后，可以直接单击网页预览，实时预览推流后拉流的画面，多画面网页展示。
  15. 软件界面上可单击对应按钮，动态添加文件和目录，可手动输入地址。
  16. 推拉流实时性极高，延迟极低，延迟时间大概在100ms左右。
  17. 极低CPU资源占用，4路主码流推流只需要占用0.2%CPU。理论上常规普通PC机器推100路毫无压力，主要性能瓶颈在网络。
  18. 可以推流到外网服务器，然后通过手机、电脑、平板等设备播放对应的视频流。
  19. 每路推流都可以手动指定唯一标识符（方便拉流/用户无需记忆复杂的地址），没有指定则按照策略随机生成hash值。也支持自动按照指定标识后面加数字的方式递增命名。比如设置标识为字母v，策略为标识递增，则每添加一个对应的推流码命名依次是v1、v2、v3等。
  20. 根据推流协议自动转码格式，默认策略按照选择的推流协议，比如rtsp支持265而rtmp不支持，如果是265的文件而选择rtmp推流，则自动转码成264格式再推流。
  21. 音视频同步推流，在拉流和采集的时候就会自动处理好同步，同步后的数据再推流。
  22. 表格中实时显示每一路推流的分辨率和音视频数据状态，灰色表示没有输入流，黑色表示没有输出流，绿色表示原数据推流，红色表示转码后的数据推流。
  23. 自动重连视频源，自动重连流媒体服务器，保证启动后，推流地址和打开地址都实时重连，只要恢复后立即连上继续采集和推流。
  24. 根据不同的流媒体服务器类型，自动生成对应的rtsp、rtmp、hls、flv、ws-flv、webrtc拉流地址，用户可以直接复制该地址到播放器或者网页中预览查看。
  25. 添加的推流地址等信息自动存储到文件，可以手动打开进行修改，默认启动后自动加载历史记录。
  26. 可以指定生成的网页文件保存位置，方便作为网站网页发布，可以直接在浏览器中输入网址进行访问，发布后可以直接在局域网其他设备比如手机或者电脑打开对应网址访问。
  27. 可选是否开机启动、后台运行等。网络推流添加的rtsp地址可勾选是否隐藏地址中的用户信息。
  28. 自带设备推流模块，自动识别本地设备，包括本地的摄像头和桌面，可以手动选择不同的是视频和音频采集设备进行推流。
  29. 自带文件点播模块，添加文件后用户可以拉取地址点播，用户端可以任意切换播放进度。支持各种浏览器（谷歌chromium、微软edge、火狐firefox等）、各种播放器（vlc、mpv、ffplay、potplayer、mpchc等）打开请求。
  30. 文件点播模块实时统计显示每个文件对应的访问数量、总访问数量、不同IP地址访问数量。
  31. 文件点播模块采用纯QTcpSocket通信，不依赖流媒体服务程序，核心源码不到500行，注释详细，功能完整。
  32. 支持任意Qt版本（Qt4、Qt5、Qt6），支持任意系统（windows、linux、macos、android、嵌入式linux等）。

五、相关代码

void FFmpegHelper::initOption(AVDictionary **options, const QString &mediaUrl)
{//设置音频采集选项if (mediaUrl.contains("audio=") && !mediaUrl.contains("audio=virtual-audio-capturer")) {av_dict_set(options, "sample_size", "16", 0);av_dict_set(options, "channels", "2", 0);av_dict_set(options, "sample_rate", "44100", 0);av_dict_set(options, "audio_buffer_size", "40", 0);}
}void FFmpegThread::initOption()
{//增加rtp/sdp支持/貌似网络地址带.sdp结尾的这种可以不用加if (mediaType == MediaType_FileLocal && mediaUrl.endsWith(".sdp")) {av_dict_set(&options, "protocol_whitelist", "file,rtp,udp", 0);}//设置秘钥相关FFmpegHelper::initDecryption(&options, this->property("cryptoKey").toByteArray());//设置缓存大小/通信协议FFmpegHelper::initOption(&options, caching, transport);//设置分辨率/帧率/桌面采集偏移值等参数if (mediaType == MediaType_Device || mediaType == MediaType_Screen) {FFmpegHelper::initOption(&options, mediaUrl);FFmpegHelper::initOption(&options, bufferSize, frameRate);if (mediaType == MediaType_Screen) {int offsetX = this->property("offsetX").toInt();int offsetY = this->property("offsetY").toInt();FFmpegHelper::initOption(&options, offsetX, offsetY, mediaUrl);}}
}bool FFmpegThread::initInput()
{//本地摄像头/桌面录屏/linux系统可以打开cheese程序查看本地摄像头(如果是在虚拟机中需要设置usb选项3.1)if (mediaType == MediaType_Device) {ifmt = av_find_input_format(mediaUrl.startsWith("audio=") ? Device_Audio : Device_Video);} else if (mediaType == MediaType_Screen) {ifmt = av_find_input_format(Device_Screen);}//实例化格式处理上下文formatCtx = avformat_alloc_context();//设置超时回调(有些不存在的地址或者网络不好的情况下要卡很久)formatCtx->interrupt_callback.callback = FFmpegThreadHelper::openAndReadCallBack;formatCtx->interrupt_callback.opaque = this;//可以强制指定本地摄像头采集解码为mjpeg或者h264/找遍了网络原来是这样设置才起作用if (mediaType == MediaType_Device) {audioPlayer->setProperty("microphone", true);FFmpegHelper::setVideoCodecName(formatCtx, videoCodecName);}//取出最终的播放地址QString url = VideoHelper::getPlayUrl(VideoCore_FFmpeg, mediaType, mediaUrl);//桌面采集指定窗口标题需要转换才能支持中文/ffmpeg5开始才修复了这个问题QByteArray urlData = VideoHelper::getUrlData(mediaType, url, FFMPEG_VERSION_MAJOR < 5);//打开输入(通过标志位控制回调那边做超时判断)tryOpen = true;int result = -1;if (mediaType == MediaType_WebSocket) {formatCtx->pb = webObj->getCtx();if (!formatCtx->pb) {return false;}//打开失败则重新连接result = avformat_open_input(&formatCtx, NULL, NULL, &options);if (result < 0) {QMetaObject::invokeMethod(webObj, "reopen");}} else {result = avformat_open_input(&formatCtx, urlData.constData(), ifmt, &options);}tryOpen = false;if (result < 0) {debug(result, "打开地址", "");return false;}//根据自己项目需要开启下面部分代码加快视频流打开速度//开启后由于值太小可能会出现部分视频流获取不到分辨率if (decodeType == DecodeType_Fastest && mediaType == MediaType_Rtsp) {FFmpegHelper::initRtspFast(formatCtx);}//获取流信息result = avformat_find_stream_info(formatCtx, NULL);if (result < 0) {debug(result, "找流失败", "");return false;}//封装格式formatName = formatCtx->iformat->name;//校验硬解码FFmpegThreadHelper::checkHardware(formatName, hardware);//获取文件时长(这里获取到的是秒)double length = (double)formatCtx->duration / AV_TIME_BASE;//如果是本地文件而且没有时长则用最原始方法读取时长//有部分设备导出的视频文件读取出来时长不对也可以用此方法读取if (mediaType == MediaType_FileLocal && duration <= 0) {if (this->property("getDurationByFrame").toBool()) {length = FFmpegUtil::getDuration(mediaUrl);}}duration = length * 1000;this->checkMediaType();//发送文件时长信号if (getIsFile()) {emit receiveDuration(duration > 0 ? duration : 0);}//获取音视频轨道信息(一般有一个音频或者一个视频/ts节目文件可能有多个)FFmpegHelper::getTracks(formatCtx, audioTracks, videoTracks);emit receiveTrack(audioTracks, videoTracks);QString msg = QString("格式: %1 时长: %2 秒 加速: %3").arg(formatName).arg(duration / 1000).arg(hardware);debug(0, "媒体信息", msg);return true;
}bool FFmpegThread::initVideo()
{//找到视频流索引videoIndex = av_find_best_stream(formatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);if (videoIndex < 0) {//有些没有视频流所以这里不用返回videoIndex = -1;debug(0, "无视频流", "");} else {//如果手动指定了轨道则取指定的(节目流有多个轨道可以指定某个)if (videoTrack >= 0 && videoTracks.contains(videoTrack)) {videoIndex = videoTrack;}//取出流获取对应的信息创建解码器int result = -1;AVStream *videoStream = formatCtx->streams[videoIndex];//如果主动设置过旋转角度则将旋转信息设置到流信息中以便保存那边也应用(不需要保存也旋转可以注释)if (rotate != -1) {FFmpegHelper::setRotate(videoStream, rotate);}//先获取旋转角度(如果有旋转角度则不能用硬件加速)this->getRotate();if (rotate != 0) {hardware = "none";}//查找视频解码器(如果上面av_find_best_stream第五个参数传了则这里不需要)AVCodecID codecId = FFmpegHelper::getCodecId(videoStream);if (codecId == AV_CODEC_ID_NONE) {debug(result, "无视解码", "");return false;}//初始化解码器FFmpegThreadHelper::initVideoCodec(&videoCodec, codecId, videoCodecName, hardware);//创建视频解码器上下文videoCodecCtx = avcodec_alloc_context3(NULL);if (!videoCodecCtx) {debug(result, "创建视解", "");return false;}//将视频流的参数拷贝给视频解码器上下文/以便能够按照对应流参数进行解码result = FFmpegHelper::copyContext(videoCodecCtx, videoStream, false);if (result < 0) {debug(result, "视频参数", "");return false;}//初始化硬件加速(也可以叫硬解码/如果当前格式不支持硬解则立即切换到软解码)if (hardware != "none" && !FFmpegThreadHelper::initHardware(this, videoCodec, videoCodecCtx, hardware)) {hardware = "none";videoCodec = avcodec_find_decoder(codecId);}if (!videoCodec) {return false;}//设置低延迟和加速解码等参数(设置max_lowres的话很可能画面采用最小的分辨率)if (!getIsFile()) {//videoCodecCtx->lowres = videoCodec->max_lowres;videoCodecCtx->flags |= AV_CODEC_FLAG_LOW_DELAY;videoCodecCtx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;videoCodecCtx->flags2 |= AV_CODEC_FLAG2_FAST;}//打开视频解码器result = avcodec_open2(videoCodecCtx, videoCodec, NULL);if (result < 0) {debug(result, "打开视解", "");return false;}if (videoCodecCtx->pix_fmt == AV_PIX_FMT_NONE) {debug(0, "格式为空", "");return false;}//获取分辨率大小FFmpegHelper::getResolution(videoStream, videoWidth, videoHeight);//如果没有获取到宽高则返回if (videoWidth == 0 || videoHeight == 0) {debug(0, "无分辨率", "");return false;}//记录首帧开始时间和解码器名称videoFirstPts = videoStream->start_time;videoCodecName = videoCodec->name;frameRate = FFmpegHelper::getFrameRate(videoStream, formatName);QString msg = QString("索引: %1 解码: %2 帧率: %3 宽高: %4x%5 角度: %6").arg(videoIndex).arg(videoCodecName).arg(frameRate).arg(videoWidth).arg(videoHeight).arg(rotate);debug(0, "视频信息", msg);//FFmpegUtil::getExtraData(videoCodecCtx);}return true;
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/786666.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

芯片开发概述

芯片开发概述

阅读更多...
如何缩短微信文章链接长度

如何缩短微信文章链接长度

有时候，我们想把微信公众号的文章发到其他平台上，这时候就需要复制文章的链接。有时候，我们想把微信公众号的文章发到其他平台上，这时候就需要复制文章的链接。 ‍ 手机端复制方式如下： ​ ‍ 微信对于短网址的优化 以前，微信公众号文章的链接特别长。但在 2016 年末，微…
阅读更多...
verilog代码与设计总结

verilog代码与设计总结

Verilog编码风格及设计建议相比于case语句，casez语句将z态看做不关心，casex语句将z态和x态看做不关心。并且所有case类型语句均没有优先级。 锁存器是组合逻辑产生的，一般没有复位端，所以根据其所存特性，在上电的时候没法确定其初始状态，因此正常情况下要避免使用。 组合…
阅读更多...
【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢？

【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢？

问题描述 使用标准版的Azure Logic App服务，可以创建多个工作流(workflow)，如果在启用/禁用其它的工作流时，是否会对正在运行其它工作流造成影响呢？ 问题解答 在实际的测验中，我们得到的答案是：会造成影响！在Disabled/Enabled同一个Logic App中的Workflow时，正在运行的…
阅读更多...
开源|一款企业应用定制化开发平台,支持企业OA协同办公类信息化系统的建设和开发

开源|一款企业应用定制化开发平台,支持企业OA协同办公类信息化系统的建设和开发

前言 在数字化转型的浪潮中，企业面临着多样化的信息系统建设需求。现有的软件系统往往存在定制化程度低、开发周期长、成-本高等问题。此外，随着企业规模的扩大和业务的复杂化，传统的软件系统难以满足灵活多变的业务需 为了解-决这些痛点，企业需要一款能够快速定制、灵活扩…
阅读更多...
暑假集训总结 2024

暑假集训总结 2024

暑假集训总结 2024考试情况：因为身体原因，只参加了29场，表格中标红的是题没改完的 越往后分越低，改题的量也越少，排名和分跟心电图差不多 分低和改题量少不只是因为题难，也有后来状态越来越差，改题的时候很困的原因 为什么排名和分是这样的，主要是心态和答题策略，做不…
阅读更多...
Tesla 开发者 API 指南：通过Http发送命令

Tesla 开发者 API 指南：通过Http发送命令

前言 特斯拉提供两种与汽车通信的方式。一种是使用 API 通过互联网，另一种是使用 BLE 连接。 特斯拉现在只能接受车辆命令 SDK (vehicle command SDK)方式发送命令，该 SDK 使用 Http-Proxy 服务器将命令转发给车辆。除了验证 oAuth 令牌之外，特斯拉正在转向一种更安全的方式…
阅读更多...
SFF806A-ASEMI无人机专用SFF806A

SFF806A-ASEMI无人机专用SFF806A

SFF806A-ASEMI无人机专用SFF806A编辑：ll SFF806A-ASEMI无人机专用SFF806A 型号：SFF806A 品牌：ASEMI 封装：ITO-220AB 批号：最新 最大平均正向电流（IF）：8A 最大循环峰值反向电压（VRRM）：600V 最大正向电压（VF）：0.95V~0.90V 工作温度：-65C~175C 反向恢复时间：35ns …
阅读更多...
博客建站7 - hexo博客独立服务器如何自动部署？

博客建站7 - hexo博客独立服务器如何自动部署？

1. 本网站的系统架构 2. 安装git 3. 配置git用户3.1. 为什么要创建git用户 3.2. 创建git用户 3.3. 设置git用户的密码 3.4. 创建公钥-私钥对 3.5. 服务器配置公钥4. hexo配置自动化部署4.1. 配置Git仓库 4.2. hexo站点配置1. 本网站的系统架构网站示例： sunlogging.com 服务器…
阅读更多...
RE入门第二天---RC4算法

RE入门第二天---RC4算法

一.RC4加密简介 RC4（Rivest Cipher 4）是一种流加密算法，由罗纳德李维斯特（Ron Rivest）在1987年开发。RC4算法的核心思想是利用伪随机数生成器（PRNG）和密钥共同生成一个密钥流，该密钥流与明文进行异或运算得到密文。 在RC4算法中，密钥流由两部分组成：密钥调度算法（KS…
阅读更多...
ThreeJS Shader的效果样例雷达图和大气层(二)

ThreeJS Shader的效果样例雷达图和大气层(二)

一、雷达图实现原理：图中是一个旋转的渐变扇形，可以通过先实现一个扇形、然后再实现一个渐变扇形，最后再将扇形旋转来达到最终效果 1. 实现一个夹角为O的扇形，已X轴正方向为单位向量M，UV点到(0,0)形成向量N，通过M和N的点乘就可以得到一个夹角，然后判断角度小于O就可以了…
阅读更多...
sql server导入mysql，使用工具SQLyog

sql server导入mysql，使用工具SQLyog

概述 需要将sql server的数据导入到mysql中，由于2种数据库存在各种差异，比如表字段类型就有很多不同，因此需要工具来实现。 这里使用SQLyog来实现。SQLyog安装 安装过程参考文档：https://blog.csdn.net/Sunshine_liang1/article/details/84400820 注意：版本不能太低，必须…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023