iOS开发-WebRTC本地直播高分辨率不显示画面问题

iOS开发-WebRTC本地直播高分辨率不显示画面问题

在之前使用WebRTC结合ossrs进行推流时候，ossrs的播放端无法看到高分辨率画面问题。根据这个问题，找到了解决方案。

一、WebRTC是什么

WebRTC是什么呢？

WebRTC (Web Real-Time Communications) 是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流和（或）音频流或者其他任意数据的传输。

二、ossrs是什么？

ossrs是什么呢？
SRS(Simple Realtime Server)是一个简单高效的实时视频服务器，支持RTMP、WebRTC、HLS、HTTP-FLV、SRT等多种实时流媒体协议。

官网地址：https://ossrs.net/lts/zh-cn/

这里暂时不写iOS Google WebRTC与ossrs实现RTC直播了。暂时值记录一下本地WebRTC直播高分辨率不显示画面问题。

三、高分辨率不显示画面问题解决方案

本地WebRTC直播高分辨率不显示画面问题，这个问题和SDP中的profile-level-id有关。

profile-level-id正好是SPS中的第二至四个字节的base16编码。这三个字节的具体含义是

sps[1] AVCProfileIndication
sps[2] profile_compatibility
sps[3] AVCLevlIndication

http://en.wikipedia.org/wiki/H.264/MPEG-4_AVC#Levels
实际设置时，就是level值乘以10，例如level 1.0，设置值就是0x0A。level 3.0，设置值就是0x1E。比较例外的是level 1b，设置值是0x09

图片来源网络（抱歉忘记地址了，如果引用了您的博客图片，请留言）
在这里插入图片描述

第三个代表level，比如1f值为31，从图中可以看出3.1，分辨率在720480 720576 1280*720

如果需要高分辨率 19201080 25601920 3840*2160 ，需要设置的level 5.1 16进制值为33，这里设置的值是42e033。

下面是一个SDP示例

“code”: 0,
“server”: “vid-415v5lz”,
“sdp”: “v=0\r\no=SRS/4.0.268(Leo) 94003279212192 2 IN IP4 0.0.0.0\r\ns=SRSPublishSession\r\nt=0 0\r\na=ice-lite\r\na=group:BUNDLE 0 1\r\na=msid-semantic: WMS live/livestream\r\nm=audio 9 UDP/TLS/RTP/SAVPF 111\r\nc=IN IP4 0.0.0.0\r\na=ice-ufrag:q01184s8\r\na=ice-pwd:o25158210twbb093o342910094v0wo5k\r\na=fingerprint:sha-256 6A:66:81:7C:68:91:79:18:05:2C:EE:5F:BF:1B:4B:F4:78:C4:01:06:CC:CC:9E:F0:32:5B:72:21:4A:C2:A1:AA\r\na=setup:passive\r\na=mid:0\r\na=recvonly\r\na=rtcp-mux\r\na=rtcp-rsize\r\na=rtpmap:111 opus/48000/2\r\na=fmtp:111 minptime=10;useinbandfec=1\r\na=candidate:0 1 udp 2130706431 10.0.80.128 8000 typ host generation 0\r\na=candidate:1 1 udp 2130706431 112.124.157.141 8000 typ host generation 0\r\nm=video 9 UDP/TLS/RTP/SAVPF 96 127\r\nc=IN IP4 0.0.0.0\r\na=ice-ufrag:q01184s8\r\na=ice-pwd:o25158210twbb093o342910094v0wo5k\r\na=fingerprint:sha-256 6A:66:81:7C:68:91:79:18:05:2C:EE:5F:BF:1B:4B:F4:78:C4:01:06:CC:CC:9E:F0:32:5B:72:21:4A:C2:A1:AA\r\na=setup:passive\r\na=mid:1\r\na=extmap:5 http://www.ietf.org/id/draft-holmer-rmcat-transport-wide-cc-extensions-01\r\na=recvonly\r\na=rtcp-mux\r\na=rtcp-rsize\r\na=rtpmap:96 H264/90000\r\na=rtcp-fb:96 transport-cc\r\na=rtcp-fb:96 nack\r\na=rtcp-fb:96 nack pli\r\na=fmtp:96 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f\r\na=rtpmap:127 red/90000\r\na=candidate:0 1 udp 2130706431 10.0.80.128 8000 typ host generation 0\r\na=candidate:1 1 udp 2130706431 112.124.157.141 8000 typ host generation 0\r\n”,
“sessionid”: “q01184s8:oPvh”
}

可以看到这里的profile-level-id=42e01f

如果在WebRTC中将本地的SDP的profile-level-id替换成42e033

[weakSelf.webRTCClient offer:^(RTCSessionDescription *sdp) {DebugLog(@"changeSDP2Server offer sdp:%@", sdp);NSString *offerSDPString = [SDWebRTCSDPUtil setMediaBitrate:sdp.sdp media:@"video" bitrate:(6*1024*1024)];DebugLog(@"changeSDP2Server offerSDPString:%@", offerSDPString);[weakSelf changeSDP2Server:offerSDPString];}];

将调用rtc/v1/publish/接口获得的remoteSDPString中的profile-level-id更改42e033之后再调用

- (void)setRemoteDescription:(RTC_OBJC_TYPE(RTCSessionDescription) *)sdpcompletionHandler:(nullable void (^)(NSError *_Nullable error))completionHandler;

经过测试，切换高分辨率画面可以正常显示。

NSString *resultRemoteSDPString = [SDWebRTCSDPUtil setMediaBitrate:remoteSDPString media:@"video" bitrate:(6*1024*1024)];DebugLog(@"changeSDP2Server resultRemoteSDPString:%@", resultRemoteSDPString);RTCSessionDescription *remoteSDP = [[RTCSessionDescription alloc] initWithType:RTCSdpTypeAnswer sdp:resultRemoteSDPString];[weakSelf.webRTCClient setRemoteSdp:remoteSDP completion:^(NSError * error) {DebugLog(@"changeSDP2Server setRemoteDescription error:%@", error);}];

四、通过RTCVideoEncoderFactory解决高分辨率不显示画面问题解决方案

通过将SDP中的profile-level-id进行更改并不是我的最终解决方法，我最后使用的是通过指定RTCVideoEncoder的RTCVideoCodecInfo中constrainedHighParams的profile-level-id值为42e033

设置codecs的constrainedHighInfo和constrainedBaselineInfo元素。

NSDictionary<NSString *, NSString *> *constrainedHighParams = @{@"profile-level-id" : kLevelHighConstrainedHigh,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedHighInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Name parameters:constrainedHighParams];[codecs addObject:constrainedHighInfo];NSDictionary<NSString *, NSString *> *constrainedBaselineParams = @{@"profile-level-id" : kLevelHighConstrainedBaseline,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedBaselineInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Name parameters:constrainedBaselineParams];[codecs addObject:constrainedBaselineInfo];

完整代码如下

SDRTCVideoEncoderFactory.h

#import <Foundation/Foundation.h>
#import <WebRTC/WebRTC.h>/**+ (NSArray<RTCVideoCodecInfo *> *)supportedCodecs {NSDictionary<NSString *, NSString *> *constrainedHighParams = @{@"profile-level-id" : kRTCMaxSupportedH264ProfileLevelConstrainedHigh,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedHighInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Nameparameters:constrainedHighParams];NSDictionary<NSString *, NSString *> *constrainedBaselineParams = @{@"profile-level-id" : kRTCMaxSupportedH264ProfileLevelConstrainedBaseline,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedBaselineInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Nameparameters:constrainedBaselineParams];RTCVideoCodecInfo *vp8Info = [[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecVp8Name];#if defined(RTC_ENABLE_VP9)RTCVideoCodecInfo *vp9Info = [[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecVp9Name];#endifreturn @[constrainedHighInfo,constrainedBaselineInfo,vp8Info,#if defined(RTC_ENABLE_VP9)vp9Info,#endif];}*/@interface SDRTCVideoEncoderFactory : NSObject<RTCVideoEncoderFactory>@end

SDRTCVideoEncoderFactory.m

#import "SDRTCVideoEncoderFactory.h"static NSString *kLevelHighConstrainedHigh = @"640c33";
static NSString *kLevelHighConstrainedBaseline = @"42e033";@implementation SDRTCVideoEncoderFactory- (id<RTCVideoEncoder>)createEncoder:(RTCVideoCodecInfo *)info {if ([info.name isEqualToString:kRTCVideoCodecH264Name]) {return [[RTCVideoEncoderH264 alloc] initWithCodecInfo:info];} else if ([info.name isEqualToString:kRTCVideoCodecVp8Name]) {return [RTCVideoEncoderVP8 vp8Encoder];} else if ([info.name isEqualToString:kRTCVideoCodecVp9Name]) {return [RTCVideoEncoderVP9 vp9Encoder];}return nil;
}- (NSArray<RTCVideoCodecInfo *> *)supportedCodecs {NSMutableArray<RTCVideoCodecInfo *> *codecs = [NSMutableArray array];NSDictionary<NSString *, NSString *> *constrainedHighParams = @{@"profile-level-id" : kLevelHighConstrainedHigh,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedHighInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Name parameters:constrainedHighParams];[codecs addObject:constrainedHighInfo];NSDictionary<NSString *, NSString *> *constrainedBaselineParams = @{@"profile-level-id" : kLevelHighConstrainedBaseline,@"level-asymmetry-allowed" : @"1",@"packetization-mode" : @"1",};RTCVideoCodecInfo *constrainedBaselineInfo =[[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecH264Name parameters:constrainedBaselineParams];[codecs addObject:constrainedBaselineInfo];RTCVideoCodecInfo *vp8Info = [[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecVp8Name parameters:nil];[codecs addObject:vp8Info];#if defined(RTC_ENABLE_VP9)RTCVideoCodecInfo *vp9Info = [[RTCVideoCodecInfo alloc] initWithName:kRTCVideoCodecVp9Name];[codecs addObject:vp9Info];
#endifreturn [codecs copy];
}@end

最后在RTCPeerConnectionFactory初始化的时候做一下设置

#pragma mark - Lazy
- (RTCPeerConnectionFactory *)factory {if (!_factory) {RTCInitializeSSL();SDRTCVideoDecoderFactory *decoderFactory = [[SDRTCVideoDecoderFactory alloc] init];SDRTCVideoEncoderFactory *encoderFactory = [[SDRTCVideoEncoderFactory alloc] init];//        for (RTCVideoCodecInfo *codec in encoderFactory.supportedCodecs) {
//            DebugLog(@"RTCVideoCodecInfo codec.parameters:%@", codec.parameters);
//        }_factory = [[RTCPeerConnectionFactory alloc] initWithEncoderFactory:encoderFactory decoderFactory:decoderFactory];}return _factory;
}

经过测试，解决了高分辨率不显示画面的问题

五、小结

iOS开发-WebRTC本地直播高分辨率不显示画面问题，使用WebRTC结合ossrs进行推流时候，ossrs的播放端无法看到高分辨率画面问题。通过设置RTCPeerConnectionFactory的initWithEncoderFactory最后解决了该问题。

https://blog.csdn.net/gloryFlow/article/details/132240952

学习记录，每天不停进步。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/62346.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

微信小程序如何配置并使用less？

微信小程序如何配置并使用less？

1&#xff0c;检查微信开发者工具&#xff08;工具版本1.03&#xff09;————这步很重要不然后面按步骤实行后会发现急死你也还是不管用&#xff0c;我之前死在过这一步&#xff0c;所以大家不要再次踩坑了 ~ ~ 。。。 2&#xff0c;在VScode中下载Less插件 3&#xff0c;…
阅读更多...
Unity-Shader-高亮Highlight

Unity-Shader-高亮Highlight

常用Shader-高亮&#xff0c;可动态调整高亮颜色、高亮强度范围/等级、高亮闪烁速度、高亮状态 Shader "CustomShader/Highlight" {Properties{_Color("Color", Color) (0.9044118,0.6640914,0.03325041,0)_Albedo("Albedo", 2D) "white…
阅读更多...
服务器时钟同步

服务器时钟同步

服务器时钟同步 文章目录 服务器时钟同步背景windows时钟同步Linux机器上的时钟同步Centos时钟同步Ubuntu系统时钟同步 查看是否同步的命令 背景 运维&#xff0c;XXX服务器慢了2秒&#xff0c;导致XXX业务没有正常执行&#xff0c;请立即排查为啥会有时钟不同步的问题。 首先…
阅读更多...
外网通过ipv6访问家里设备

外网通过ipv6访问家里设备

目录 1.需要整体理解如何在外网连接家里设备。 2.路由器打通ipv6。 3.移动光猫配置ipv6。 4.test-ipv6.com测试成功&#xff0c;但是ping不通 还是ping不通&#xff0c;提出如下可能 5.动态域名解析&#xff08;ddns-go&#xff09; a.dns服务商权限设置 b.IPv6设置 c…
阅读更多...
全排列——力扣46

全排列——力扣46

文章目录 题目描述解法：回溯题目描述 解法：回溯 //version 1 vector<vector<int>> permute(<
阅读更多...
nodejs+vue+elementui招聘求职网站系统的设计与实现-173lo

nodejs+vue+elementui招聘求职网站系统的设计与实现-173lo

&#xff08;1&#xff09;管理员的功能是最高的&#xff0c;可以对系统所在功能进行查看&#xff0c;修改和删除&#xff0c;包括企业和用户功能。管理员用例如下&#xff1a; 图3-1管理员用例图 &#xff08;2&#xff09;企业关键功能包含个人中心、岗位类型管理、招聘信息…
阅读更多...
尚硅谷大数据项目《在线教育之采集系统》笔记005

尚硅谷大数据项目《在线教育之采集系统》笔记005

视频地址&#xff1a;尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili 目录 P057 P058 P059 P060 P061 P062 P063 P064 P065 P066 P067 P068 P069 P070 P071 P072 P073 P057 #!/bin/bashMAXWELL_HOME/opt/module/maxwell/maxwell-1.29.2status_ma…
阅读更多...
【MySQL】

【MySQL】

这里写目录标题 MySQL架构一条sql执行流程MySQL数据存放电脑位置ibd文件结构行溢出是什么MySQL行记录存储格式索引为什么InnoDB选择B树作为索引数据结构什么时候需要创建索引优化索引方法InnoDB内部怎么存储数据B 树如何进行查询聚簇索引和二级索引为什么MySQL要采用B树作为索引…
阅读更多...
访问器模式（C++）

访问器模式（C++）

定义 表示一个作用于某对象结构中的各元素的操作。使得可以在不改变(稳定)各元素的类的前提下定义(扩展)作用于这些元素的新操作(变化)。 应用场景 在软件构建过程中&#xff0c;由于需求的改变&#xff0c;某些类层次结构中常常需要增加新的行为(方法)&#xff0c;如果直接…
阅读更多...
7.2 手撕VGG11模型 使用Fashion_mnist数据训练VGG

7.2 手撕VGG11模型 使用Fashion_mnist数据训练VGG

VGG首先引入块的思想将模型通用模板化 VGG模型的特点 与AlexNet&#xff0c;LeNet一样&#xff0c;VGG网络可以分为两部分&#xff0c;第一部分主要由卷积层和汇聚层组成&#xff0c;第二部分由全连接层组成。 VGG有5个卷积块&#xff0c;前两个块包含一个卷积层&#xff0c…
阅读更多...
11_Pulsar Adaptors适配器、kafka适配器、Spark适配器

11_Pulsar Adaptors适配器、kafka适配器、Spark适配器

2.3. Pulsar Adaptors适配器 2.3.1.kafka适配器 2.3.2.Spark适配器 2.3. Pulsar Adaptors适配器 2.3.1.kafka适配器 Pulsar 为使用 Apache Kafka Java 客户端 API 编写的应用程序提供了一个简单的解决方案。 在生产者中, 如果想不改变原有kafka的代码架构, 就切换到Pulsar的…
阅读更多...
【ArcGIS】经纬度数据转化成平面坐标数据

【ArcGIS】经纬度数据转化成平面坐标数据

将点位置导入Gis中&#xff0c;如下&#xff08;经纬度表征位置&#xff09;&#xff1a; 如何利用Gis将其转化为平面坐标呢&#xff1f; Step1 坐标变换 坐标变换&#xff0c;打开ArcToolbox&#xff0c;找到“数据管理工具”->“投影和变换”->“要素”->“投影”…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023