如何在VR头显端实现低延迟的RTMP或RTMP播放

技术背景

VR（虚拟现实技术）给我们带来身临其境的视觉体验，广泛的应用于城市规划、教育培训、工业仿真、房地产、水利电力、室内设计、文旅、军事等众多领域，常用的行业比如：

  • 教育行业：VR头显可以用于教育培训，提供沉浸式的教学体验，例如虚拟实验室、虚拟课堂等，帮助学生更好地理解和掌握知识。
  • 医疗行业：VR头显可以用于医疗训练和治疗，例如手术模拟、康复训练等，提高医疗效果和质量。
  • 文旅行业：VR头显可以用于旅游娱乐，提供沉浸式的旅游体验，例如虚拟旅游、文化遗产展示等。
  • 房地产行业：VR头显可以用于房地产展示，提供更加真实、直观的房屋展示和体验，帮助客户更好地了解和选择房屋。
  • 展览展示行业：VR头显可以用于展览展示，提供沉浸式的展览体验，例如虚拟展厅、虚拟展品等，吸引观众的注意和参与。
  • 军事行业：VR头显可以用于军事训练和作战指挥，提供更加真实、逼真的军事训练环境。

技术实现

如何在VR头显实现RTMP或RTSP播放？

VR头显播放RTMP或RTSP流数据，简单来说，通过jni层打通RTMP或RTSP流传输，解包并解码回调给Unity YUV或RGB数据，Unity场景下，绘制即可，本文以大牛直播SDK的Unity平台RTMP、RTSP播放为例，介绍下具体技术实现：

开始播放：

    public void Play(){if (is_running){Debug.Log("已经在播放。。");   return;}//获取输入框的urlstring url = input_url_.text.Trim();OpenPlayer();if ( player_handle_ == 0 )return;NT_U3D_Set_Game_Object(player_handle_, game_object_);/* ++ 播放前参数配置可加在此处 ++ */int is_using_tcp = 0;        //TCP/UDP模式设置NT_U3D_SetRTSPTcpMode(player_handle_, is_using_tcp);int is_report = 0;int report_interval = 1;NT_U3D_SetReportDownloadSpeed(player_handle_, is_report, report_interval);  //下载速度回调NT_U3D_SetBuffer(player_handle_, play_buffer_time_);                        //设置buffer timeNT_U3D_SetPlayerLowLatencyMode(player_handle_, is_low_latency_ ? 1 : 0);    //设置是否启用低延迟模式NT_U3D_SetMute(player_handle_, is_mute_ ? 1 : 0);                           //是否启动播放的时候静音NT_U3D_SetAudioVolume(player_handle_, cur_audio_volume_);                   //设置播放音量NT_U3D_SetVideoDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.264软硬解模式NT_U3D_SetVideoHevcDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.265软硬解模式int is_fast_startup = 1;NT_U3D_SetFastStartup(player_handle_, is_fast_startup);                     //设置快速启动模式int rtsp_timeout = 10;NT_U3D_SetRTSPTimeout(player_handle_, rtsp_timeout);                        //设置RTSP超时时间int is_auto_switch_tcp_udp = 1;NT_U3D_SetRTSPAutoSwitchTcpUdp(player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换int is_audiotrack = 1;NT_U3D_SetAudioOutputType(player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式NT_U3D_SetUrl(player_handle_, videoUrl);/* -- 播放前参数配置可加在此处 -- */int flag = NT_U3D_StartPlay(player_handle_);if (flag  == DANIULIVE_RETURN_OK){is_need_get_frame_ = true;Debug.Log("播放成功");}else{is_need_get_frame_ = false;Debug.LogError("播放失败");}is_running = true;  }

Close Player：

    private void ClosePlayer(){is_need_get_frame_ = false;is_need_init_texture_ = false;int flag = NT_U3D_StopPlay(player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("停止成功");}else{Debug.LogError("停止失败");}flag = NT_U3D_Close(player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("关闭成功");}else{Debug.LogError("关闭失败");}player_handle_ = 0;NT_U3D_UnInit();is_running = false;video_width_ = 0;video_height_ = 0;}

Event事件回调处理：

    /// <summary>/// android 传递过来 code/// </summary>/// <param name="event_message"></param>public void onNTSmartEvent(string event_message){if (null == event_message || event_message.Length < 1)return;string[] strs = event_message.Split(',');if (null == strs || strs.Length < 6)return;string player_handle =strs[0];string code = strs[1];string param1 = strs[2];string param2 = strs[3];string param3 = strs[4];string param4 = strs[5];Debug.Log("[daiusdk] code: 0x" + Convert.ToString(Convert.ToInt32(code), 16));String player_event = "";switch (Convert.ToInt32(code)){case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_STARTED:player_event = "开始..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTING:player_event = "连接中..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTION_FAILED:player_event = "连接失败..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTED:player_event = "连接成功..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_DISCONNECTED:player_event = "连接断开..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_STOP:player_event = "停止播放..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_RESOLUTION_INFO:player_event = "分辨率信息: width: " + Convert.ToInt32(param1) + ", height: " + Convert.ToInt32(param2);break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_NO_MEDIADATA_RECEIVED:player_event = "收不到媒体数据，可能是url错误..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_SWITCH_URL:player_event = "切换播放URL..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_CAPTURE_IMAGE:player_event = "快照: " + param1 + " 路径：" + param3;if (Convert.ToInt32(param1) == 0){player_event = "截取快照成功..";}else{player_event = "截取快照失败..";}break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_RECORDER_START_NEW_FILE:player_event = "[record]开始一个新的录像文件 : " + param3;break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_ONE_RECORDER_FILE_FINISHED:player_event = "[record]已生成一个录像文件 : " + param3;break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_START_BUFFERING:player_event = "Start_Buffering..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_BUFFERING:player_event = "Buffering: " + Convert.ToInt32(param1);break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_STOP_BUFFERING:player_event = "Stop_Buffering..";break;case EVENTID.EVENT_DANIULIVE_ERC_PLAYER_DOWNLOAD_SPEED:player_event = "download_speed:" + param1 + "Byte/s" + ", "+ (Convert.ToInt32(param1) * 8 / 1000) + "kbps" + ", " + (Convert.ToInt32(param1) / 1024)+ "KB/s";break;}Debug.Log(player_event);player_event = null;strs = null;}

如何封装实现原生jni层交互：

    /// SmartPlayerAndroidMono.cs/// Author: daniusdk.com///Created on 2018/05/10/// <summary>/// Init/// </summary>public int NT_U3D_Init(){return player_obj_.Call<int>("Init", java_obj_cur_activity_);}/// <summary>/// 开始/// 返回播放句柄/// </summary>public long NT_U3D_Open(){return player_obj_.Call<long>("Open");}/// <summary>/// Register Game Object,用于消息传递/// </summary>public int NT_U3D_Set_Game_Object(long handle, string gameObjectName){return player_obj_.Call<int>("SetGameObject", handle, gameObjectName);}/// <summary>/// 设置H.264解码方式 false 软件解码 true 硬件解码 默认为false/// </summary>/// <param name="isHwDecoder"></param>public int NT_U3D_SetVideoDecoderMode(long handle, int isHwDecoder){return player_obj_.Call<int>("SetPlayerVideoHWDecoder", handle, isHwDecoder);}/// <summary>/// 设置H.265 解码方式 false 软件解码 true 硬件解码 默认为false/// </summary>/// <param name="isHevcHwDecoder"></param>public int NT_U3D_SetVideoHevcDecoderMode(long handle, int isHevcHwDecoder){return player_obj_.Call<int>("SetPlayerVideoHevcHWDecoder", handle, isHevcHwDecoder);}/// <summary>/// 设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式/// </summary>/// <param name="use_audiotrack"></param>public int NT_U3D_SetAudioOutputType(long handle, int use_audiotrack){return player_obj_.Call<int>("SetAudioOutputType", handle, use_audiotrack);}/// <summary>/// 设置播放端缓存大小, 默认200毫秒/// </summary>/// <param name="buffer"></param>public int NT_U3D_SetBuffer(long handle, int buffer){return player_obj_.Call<int>("SetBuffer", handle, buffer);}/// <summary>/// 接口可实时调用：设置是否实时静音，1：静音; 0: 取消静音/// </summary>/// <param name="is_mute"></param>public int NT_U3D_SetMute(long handle, int is_mute){return player_obj_.Call<int>("SetMute", handle, is_mute);}/// <summary>/// 接口可实时调用：设置播放音量，范围是[0, 100], 0是静音，100是最大音量, 默认是100/// </summary>/// <param name="audio_volume"></param>public int NT_U3D_SetAudioVolume(long handle, int audio_volume){return player_obj_.Call<int>("SetAudioVolume", handle, audio_volume);}/// <summary>/// 设置RTSP TCP模式, 1: TCP; 0: UDP/// </summary>/// <param name="is_using_tcp"></param>public int NT_U3D_SetRTSPTcpMode(long handle, int is_using_tcp){return player_obj_.Call<int>("SetRTSPTcpMode", handle, is_using_tcp);}/// <summary>/// 设置RTSP超时时间, timeout单位为秒，必须大于0/// </summary>/// <param name="timeout"></param>public int NT_U3D_SetRTSPTimeout(long handle, int timeout){return player_obj_.Call<int>("SetRTSPTimeout", handle, timeout);}/// <summary>/// 设置RTSP TCP/UDP自动切换/// NOTE: 对于RTSP来说，有些可能支持rtp over udp方式，有些可能支持使用rtp over tcp方式./// 为了方便使用，有些场景下可以开启自动尝试切换开关, 打开后如果udp无法播放，sdk会自动尝试tcp, 如果tcp方式播放不了,sdk会自动尝试udp./// </summary>/// <param name="timeout"></param>/// timeout：如果设置1的话, sdk将在tcp和udp之间尝试切换播放，如果设置为0，则不尝试切换.public int NT_U3D_SetRTSPAutoSwitchTcpUdp(long handle, int is_auto_switch_tcp_udp){return player_obj_.Call<int>("SetRTSPAutoSwitchTcpUdp", handle, is_auto_switch_tcp_udp);}/// <summary>/// 设置快速启动该模式，/// </summary>/// <param name="is_fast_startup"></param>public int NT_U3D_SetFastStartup(long handle, int is_fast_startup){return player_obj_.Call<int>("SetFastStartup", handle, is_fast_startup);}/// <summary>/// 设置超低延迟模式 false不开启 true开启 默认false/// </summary>/// <param name="mode"></param>public int NT_U3D_SetPlayerLowLatencyMode(long handle, int mode){return player_obj_.Call<int>("SetPlayerLowLatencyMode", handle, mode);}/// <summary>/// 设置视频垂直反转/// is_flip： 0: 不反转, 1: 反转/// </summary>/// <param name="is_flip"></param>public int NT_U3D_SetFlipVertical(long handle, int is_flip){return player_obj_.Call<int>("SetFlipVertical", handle, is_flip);}/// <summary>/// 设置视频水平反转/// is_flip： 0: 不反转, 1: 反转/// </summary>/// <param name="is_flip"></param>public int NT_U3D_SetFlipHorizontal(long handle, int is_flip){return player_obj_.Call<int>("SetFlipHorizontal", handle, is_flip);}/// <summary>/// 设置顺时针旋转, 注意除了0度之外， 其他角度都会额外消耗性能/// degress： 当前支持 0度，90度, 180度, 270度 旋转/// </summary>/// <param name="degress"></param>public int NT_U3D_SetRotation(long handle, int degress){return player_obj_.Call<int>("SetRotation", handle, degress);}/// <summary>/// 设置是否回调下载速度/// is_report: if 1: 上报下载速度, 0: 不上报./// report_interval: 上报间隔，以秒为单位，>0./// </summary>/// <param name="is_report"></param>/// <param name="report_interval"></param>public int NT_U3D_SetReportDownloadSpeed(long handle, int is_report, int report_interval){return player_obj_.Call<int>("SetReportDownloadSpeed", handle, is_report, report_interval);}/// <summary>/// 设置是否需要在播放或录像过程中快照/// </summary>/// <param name="is_save_image"></param>public int NT_U3D_SetSaveImageFlag(long handle, int is_save_image){return player_obj_.Call<int>("SetSaveImageFlag", handle, is_save_image);}/// <summary>/// 播放或录像过程中快照/// </summary>/// <param name="imageName"></param>public int NT_U3D_SaveCurImage(long handle, string imageName){return player_obj_.Call<int>("SaveCurImage", handle, imageName);}/// <summary>/// 播放或录像过程中，快速切换url/// </summary>/// <param name="uri"></param>public int NT_U3D_SwitchPlaybackUrl(long handle, string uri){return player_obj_.Call<int>("SwitchPlaybackUrl", handle, uri);}/// <summary>/// 创建录像存储路径/// </summary>/// <param name="path"></param>public int NT_U3D_CreateFileDirectory(string path){return player_obj_.Call<int>("CreateFileDirectory", path);}/// <summary>/// 设置录像存储路径/// </summary>/// <param name="path"></param>public int NT_U3D_SetRecorderDirectory(long handle, string path){return player_obj_.Call<int>("SetRecorderDirectory", handle, path);}/// <summary>/// 设置单个录像文件大小/// </summary>/// <param name="size"></param>public int NT_U3D_SetRecorderFileMaxSize(long handle, int size){return player_obj_.Call<int>("SetRecorderFileMaxSize", handle, size);}/// <summary>/// 设置录像时音频转AAC编码的开关/// aac比较通用，sdk增加其他音频编码(比如speex, pcmu, pcma等)转aac的功能./// 注意: 转码会增加性能消耗/// </summary>/// <param name="is_transcode"></param>/// is_transcode：设置为1的话，如果音频编码不是aac，则转成aac，如果是aac，则不做转换. 设置为0的话，则不做任何转换. 默认是0.public int NT_U3D_SetRecorderAudioTranscodeAAC(long handle, int is_transcode){return player_obj_.Call<int>("SetRecorderAudioTranscodeAAC", handle, is_transcode);}/// <summary>/// 设置播放路径/// </summary>public int NT_U3D_SetUrl(long handle, string url){return player_obj_.Call<int>("SetUrl", handle, url);}/// <summary>/// 开始播放/// </summary>public int NT_U3D_StartPlay(long handle){return player_obj_.Call<int>("StartPlay", handle);}/// <summary>/// 获取YUV数据/// </summary>public AndroidJavaObject NT_U3D_GetVideoFrame(long handle){return player_obj_.Call<AndroidJavaObject>("GetVideoFrame", handle);}/// <summary>/// 停止播放/// </summary>public int NT_U3D_StopPlay(long handle){return player_obj_.Call<int>("StopPlay", handle);}/// <summary>/// 开始录像/// </summary>public int NT_U3D_StartRecorder(long handle){return player_obj_.Call<int>("StartRecorder", handle);}/// <summary>/// 停止录像/// </summary>public int NT_U3D_StopRecorder(long handle){return player_obj_.Call<int>("StopRecorder", handle);}/// <summary>/// 关闭播放/// </summary>public int NT_U3D_Close(long handle){return player_obj_.Call<int>("Close", handle);}/// <summary>/// UnInit Player/// </summary>public int NT_U3D_UnInit(){return DANIULIVE_RETURN_OK;}

技术总结

通过实际测试来看，VR头显端，如果设备性能尚可的话，播放RTMP或RTSP，可实现毫秒级的延迟，可满足大多数有交互诉求的技术场景，此外，如果头显端支持硬解码的话，可以优先考虑硬解码。

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/87517.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

springboot+vue健身房俱乐部课程预约网站的设计与实现0356t

springboot+vue健身房俱乐部课程预约网站的设计与实现0356t

通过对知识内容的学习研究&#xff0c;进而设计并实现一个“力炫”健身馆网站。系统能实现的主要功能应包括&#xff1b;用户、健身教练、健身器材、健身课程、健身商品、健身资讯等的一些操作&#xff0c;传统的管理模式主要是使用纸作为介质&#xff0c;信息交流很大程度上受…
阅读更多...
云计算存储类型

云计算存储类型

一、共享存储模式 NAS: ①一种专门用于存储和共享文件的设备&#xff0c;它通过网络连接到计算机或其他设备&#xff0c; 提供了一个中心化的存储解决方案 ②存储网络使用IP网络 &#xff0c;数据存储共享基于文件 ③本质上为:NFS和CIFS文件共享服务器 ④提供的不是一个磁盘块…
阅读更多...
Flink Kubernates Native - 入门

Flink Kubernates Native - 入门

创建 namespace [rootCentOSA flink-1.17.1]# kubectl create ns flink-native [rootCentOSA flink-1.17.1]# kubectl config set-context --current --namespaceflink-native命令空间添加资源限制 [rootCentOSA flink-1.17.1]# vim namespace-ResourceQuota.yamlapiVersion:…
阅读更多...
大数据Flink（六十九）：SQL 数据类型

大数据Flink（六十九）：SQL 数据类型

文章目录 SQL 数据类型 一、原子数据类型 二、​​​​​​复合数据类型 SQL 数据类型 在介绍完一些基本概念之后，我们来认识一下
阅读更多...
LAMP介绍与配置

LAMP介绍与配置

一.LAMP 1.1.LAMP架构的组成 CGI&#xff08;通用网关接口&#xff09;和FastCGI&#xff08;快速公共网关接口&#xff09;都是用于将Web服务器与后端应用程序&#xff08;如PHP、Python等&#xff09;进行交互的协议/接口。 特点 CGI FastCGI 运行方式 每个请求启动…
阅读更多...
Excel显示此值与此单元格定义的数据验证限制不匹配怎么办？

Excel显示此值与此单元格定义的数据验证限制不匹配怎么办？

总结&#xff1a;1、在编辑excel文档的时候&#xff0c;弹出此时预测单元格定义的数据验证&#xff0c;限制不匹配的提示。2、这是我们点击菜单来的数据菜单。3、然后点击数据工具栏的数据验证下拉按钮。4、在弹出的菜单中选择数据验证的菜单项。5、然后在打开的窗口中点击左下…
阅读更多...
Windows-docker集成SRS服务器的部署和使用

Windows-docker集成SRS服务器的部署和使用

Windows-docker集成SRS服务器的部署和使用 一、Windows Docker安装 Docker Desktop 官方下载地址&#xff1a; https://docs.docker.com/desktop/install/windows-install/ 下载windows版本的就可以了。 注意&#xff1a;此方法仅适用于 Windows 10 操作系统专业版、企业版、…
阅读更多...
HTTP 协议

HTTP 协议

目录 ​编辑一、HTTP 协议是什么 二、抓包工具的使用 三、HTTP 请求 1、认识 URL 2、认识方法 3、认识请求 “报头” HOST &#xff1a; Content-Length 和 Content-Type​编辑 User-Agent Referer Cookie 四、HTTP 响应 1、认识状态码 2、通过 form 表单构造 H…
阅读更多...
mysql的登录与退出

mysql的登录与退出

mysql是c/s架构&#xff0c;意味着同时要有客户端和服务端 1 找到客户端。mysql.exe的安装目录 打开命令行 2 输入对应的服务器的ip&#xff0c;如果是本地&#xff0c;就是Localhost&#xff0c;如果是远程服务器&#xff0c;那就输入对应ip/域名。并且指定mysql监听的端口 …
阅读更多...
4. 池化层相关概念

4. 池化层相关概念

4.1 池化层原理 ① 最大池化层有时也被称为下采样。 ② dilation为空洞卷积&#xff0c;如下图所示。 ③ Ceil_model为当超出区域时&#xff0c;只取最左上角的值。 ④ 池化使得数据由5 * 5 变为3 * 3,甚至1 * 1的&#xff0c;这样导致计算的参数会大大减小。例如1080P的电…
阅读更多...
IT运维：使用数据分析平台监控DELL服务器

IT运维：使用数据分析平台监控DELL服务器

概述 在企业日常运维中&#xff0c;我们有着大量的服务器设备&#xff0c;设备故障一般可以通过常用的监控软件实现自动告警&#xff0c;但如果在管理运维中我们要做的不仅仅是发现故障&#xff0c;处理硬件故障&#xff0c;我们还需要进一步的了解&#xff0c;今年一共出现了多…
阅读更多...
【高阶数据结构】map和set的介绍和使用 {关联式容器；键值对；map和set；multimap和multiset；OJ练习}

【高阶数据结构】map和set的介绍和使用 {关联式容器；键值对；map和set；multimap和multiset；OJ练习}

map和set的介绍和使用 一、关联式容器 关联式容器和序列式容器是C STL中的两种不同类型的容器。 关联式容器是基于键值对的容器&#xff0c;其中每个元素都有一个唯一的键值&#xff0c;可以通过键值来访问元素。关联式容器包括set、multiset、map和multimap。 序列式容器是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023